Proxmox VE et Ceph : installer, déployer et maintenir une infrastructure hyperconvergée

• Hyperconvergence ou SAN centralisé : avantages, limites et cas d'usage.
• Trois nœuds minimum : pourquoi, et ce que cela implique pour la tolérance aux pannes.
• Dimensionnement : CPU, RAM par OSD, disques SSD/NVMe entreprise avec protection contre les coupures, contrôleurs en mode HBA (jamais de RAID matériel sous Ceph).
• Réseau : 10/25 GbE, redondance, séparation des flux Corosync, Ceph, migration et production.
• Identification des points uniques de défaillance ; comparaison avec VMware vSphere + vSAN (fonctionnalités et coûts).

• Corosync et le système de fichiers de cluster pmxcfs (/etc/pve).
• Création du cluster et ajout de nœuds : pvecm create, pvecm add, pvecm status.
• Liens Corosync redondants (link0/link1) et exigences de latence.
• Quorum et votes : comportement en cas de perte de nœuds ; cluster à deux nœuds et QDevice.
• Retrait propre d'un nœud avec pvecm delnode et pièges à éviter.

• Plan d'adressage et séparation physique ou logique des flux.
• Réseau de migration dédié, MTU 9000 et vérification de bout en bout ; agrégation LACP pour le stockage.
• SDN : zones Simple, VLAN et VXLAN, VNets, IPAM.
• Fabrics OpenFabric et OSPF : Ceph en maillage complet sur trois nœuds sans commutateur.
• Présentation d'EVPN et des fabrics WireGuard pour les architectures multi-sites.

• RADOS et les démons Ceph : MON, MGR, OSD, MDS.
• BlueStore, WAL et DB : placement sur disque rapide.
• Placement groups et autoscaler ; algorithme CRUSH et domaines de défaillance (disque, hôte, baie).
• Réplication size 3 / min_size 2 : pourquoi ne jamais descendre à min_size 1.
• Erasure coding : principe, gains de capacité et contraintes.

• Choix de la version Ceph (Squid, Tentacle) et des dépôts : pveceph install.
• Initialisation avec réseaux public et cluster séparés : pveceph init.
• Moniteurs et managers répartis sur trois nœuds ; création des OSD avec ou sans DB/WAL séparés.
• Pools RBD pour les disques de VM, option KRBD ; CephFS pour les ISO, templates et fichiers partagés.
• Tableau de bord Ceph et outils ceph -s, ceph osd tree, ceph df.

• Classes de disques (HDD, SSD, NVMe) et règles CRUSH dédiées.
• Seuils nearfull et full : planifier la capacité pour survivre à la perte d'un nœud.
• Calcul de la capacité réellement utilisable.
• Mesures de performance avec rados bench et fio ; paramètres de VM adaptés à Ceph (cache, discard, IOthread).

• Migration à chaud sur stockage partagé et avec stockage local.
• Réplication ZFS : alternative pour les petits clusters sans Ceph.
• HA Manager : gestionnaires CRM et LRM, états des ressources ; watchdog et fencing.
• Règles d'affinité de nœud et de ressource ; politique d'arrêt, mode maintenance et répartition dynamique de charge (CRS).

• Pourquoi les snapshots Ceph ne remplacent pas une sauvegarde.
• Proxmox Backup Server hors du cluster : datastores, espaces de noms, jetons API.
• Sauvegardes à l'échelle du cluster, vérification, rétention et garbage collection ; synchronisation vers un PBS distant.
• Restauration en direct (live restore) et restauration de fichiers.
• RPO, RTO et rédaction d'une procédure de reprise d'activité.

• Panne brutale d'un nœud : fencing et redémarrage des VM.
• Panne d'un disque : passage d'un OSD à l'état down puis out.
• Coupure du réseau Corosync ou du réseau Ceph.
• Observation de la reconstruction (recovery, backfill, degraded), retour à la normale et analyse post-incident.

• Lecture de ceph health detail et des états des placement groups.
• Remplacement d'un disque défaillant : sortie, destruction et recréation de l'OSD.
• Ajout d'un nœud ou d'OSD et rééquilibrage des données.
• Drapeaux de maintenance noout et norebalance ; scrub, deep-scrub et rapports de crash.

• Mises à jour en roulement, nœud par nœud, sans interruption de service.
• Mode maintenance HA et désarmement de la HA pour les interventions sur le réseau de cluster.
• Montée de version Ceph (Squid vers Tentacle) puis de Proxmox VE : ordre des opérations.
• Préparation d'une procédure avec retour arrière et point de contrôle.

• Serveur de métriques externe (InfluxDB, Graphite) et module Prometheus de Ceph.
• Intégration Zabbix et alertes sur l'état de santé Ceph ; notifications du cluster (SMTP, webhook).
• Isolation des réseaux Corosync et Ceph : non routés et inaccessibles depuis les VM.
• Délégation des droits d'administration : pools de ressources, rôles et jetons API.

Mise en situation finale : diagnostic et remédiation d'incidents sur un cluster hyperconvergé.