Ceph

Ceph met en œuvre le stockage d'objets distribué au moyen de RADOS (Reliable Autonomic Distributed Object Store), un moteur de stockage objet fiable, autonome et distribué.

Côté client, sa bibliothèque logicielle native librados permet aux applications C, C++, Java, Python, Ruby et PHP un accès direct en mode objet. L'API S3 permet aux applications de déborder nativement dans le cloud.

Ce sont souvent des disques capacitifs qui sont associés au stockage objet S3 de Ceph pour des cas d'usages : Big Data (datalake), Data science, Container registry, Backup & Archives (GED, mails, WORM...), IOT, média & vidéosurveillance...

Différentes bibliothèques additionnelles permettent d'obtenir les abstractions nécessaires pour :

• L'accès en mode bloc grâce à RADOS Block Device (RBD) ou iSCSI
• L'accès en mode fichier grâce à CephFS
• L'accès en mode HTTP REST via les interfaces Amazon S3 ou OpenStack Swift grâce à la passerelle RADOS (RADOS Gateway ou RADOSGW)

Le système de stockage en mode bloc de Ceph autorise les utilisateurs à monter Ceph comme un périphérique de type bloc. Quand une application écrit des données sur Ceph en utilisant un périphérique de bloc, Ceph parallélise et réplique les écritures de données à travers le cluster automatiquement. Ceph-RBD s'intègre aussi avec les machines virtuelles basées sur le noyau Linux.

• Ceph-RBD s'interface avec le même système d'objet de stockage que l'API librados et le système de fichiers CephFS, et il stocke les images de périphérique de bloc comme des objets. Depuis que RBD est construit au-dessus de librados, RBD a hérité des capacités de librados, incluant les instantanés (snapshots) en lecture seule et le retour aux snapshots. En parallelisant les écritures des images sur le cluster, Ceph améliore les performances d'accès en lecture sur les grosses images de périphérique de bloc.

• Ceph-iSCSI est une passerelle qui permet d'accéder à un stockage en bloc distribué hautement disponible à partir de n'importe quel serveur ou client Microsoft Windows ou VMware VSphere capable d'utiliser le protocole iSCSI. En utilisant Ceph-iSCSI sur un ou plusieurs hôtes de passerelle iSCSI, les images Ceph-RBD deviennent disponibles en tant qu'unités logiques (LU) associées à des cibles iSCSI, auxquelles il est possible d'accéder de manière hautement disponible et à charge équilibrée.

Ce sont souvent des disques rapides (NVMe, SSD) qui sont associés au stockage bloc de Ceph pour des cas d'usages : bases de données, machine virtuelle (VM), conteneur, Data analytics, AI/ML...

Le système de fichiers de Ceph (CephFS) fonctionne au-dessus du système de stockage d'objet qui fournit le stockage d'objets et les interfaces de périphérique de bloc. Les métadonnées du cluster de serveurs de ceph fournit un service qui mappe les répertoires et les noms des fichiers du système de fichiers des objets stockés dans les grappes de serveurs RADOS (cluster). Les métadonnées peuvent se développer ou se contracter et ils peuvent rééquilibrer le système de fichiers de manière dynamique pour distribuer les données uniformément parmi les hôtes du cluster. Cela assure des hautes performances et prévient contre de lourdes charges sur un hôte spécifique du cluster.

Les clients montent le système de fichiers compatible POSIX en utilisant le noyau Linux d'un client. Le 19 mars 2010, Linus Torvalds a fusionné le client Ceph dans le noyau Linux 2.6.34 qui est sorti le 16 mai 2010. Un vieux client basé sur FUSE est disponible. Les serveurs fonctionnent comme des démons Unix ordinaires.

Le stockage fichier de Ceph est souvent associé aux cas d'usages : captures de journaux, messages, conteneurs CI/CD, filestore (sharing)…

Un système de fichiers sous-jacent sur les OSD est utilisé pour stocker la donnée sous la forme de fichiers dans une arborescence. (Un OSD est généralement un disque rotatif)

• En test
  • Btrfs
  • ZFS (sous Linux)
• Production
  • Bluestore (qui n'est pas un système de fichiers à proprement parler, mais une utilisation du disque en raw device)
  • Ext4 (à petite échelle)
  • XFS (déploiement en entreprise)

Ceph a été initialement créé par Sage Weil (en) (développeur du concept de Webring et cofondateur de DreamHost) pour sa thèse de doctorat supervisée par le professeur Scott A. Brandt qui travaillait à la Jaskin Baskin School of Engineering de l'université de Californie à Santa Cruz, fondée par le DOE/NNSA (Department of Energy/National Nuclear Security Administration) en collaboration avec le laboratoire national de Lawrence Livermore, le laboratoire national de Los Alamos et le laboratoire national de Sandia.

Après sa remise de diplôme (Ph.D) à l'été 2007, Weil a continué à travailler sur Ceph à temps plein. L'équipe du développement du noyau s'est agrandie en incluant Yehuda Sadeh Weinraub et Gregory Farnum. En 2012, Weil créa Inktank Storage pour fournir des services et du support professionnel à Ceph.

En avril 2014, Red Hat a acheté Inktank prenant la plupart des développements de Ceph en interne pour en faire une version de production pour les entreprises avec du support (hotline) et de la maintenance (nouvelles versions). S. Weil poursuit le développement de Ceph comme architecte principal chez Red Hat.

Ceph continue de dominer le marché en tant que solution de stockage open source grâce aux efforts continus de développement de la communauté en délivrant de nouvelles fonctionnalités pour servir les besoins des entreprises et s'adapter à de nouveaux cas d'usage émergents tels que le stockage persistant pour les containers, l'Open Data Sciences, AI/ML, Kafka, Data analytics...

Ceph utilise quatre démons distincts :

• Supervision du cluster (ceph-mon), virtualisable, qui effectue un suivi des nœuds des clusters actif et en échec.
• Serveurs de métadonnées (ceph-mds), virtualisable, qui stocke les métadonnées des inodes et des répertoires.
• Périphérique de stockage d’objets (ceph-osd) qui stocke le contenu des fichiers. Idéalement, les OSDs stockent leurs données sur un système de fichiers local en Btrfs pour tirer parti des capacités de copies sur écritures intégrées, bien que d'autres systèmes de fichiers locaux puissent être utilisés à la place.
• Transfert d'état représentationnel (RESTful) passerelle (ceph-rgw), virtualisable, qui expose les couches de stockages d'objet comme une interface compatible avec Amazon S3 et les API d'OpenStack Swift.

Tous ces démons fonctionnent de manière complètement distribuée et peuvent s'exécuter sur le même ensemble de serveurs. Les clients interagissent directement avec tous.

Ceph fait de l'entrelacement de fichiers individuels sur des fichiers à travers de multiples nœuds pour fournir un débit plus élevé, de façon similaire au RAID 0 qui entrelace les partitions sur de multiples disques durs. L'équilibrage de charge adaptatif est supporté par lequel les objets fréquemment consultés sont répliqués sur plus de nœuds.

Le nom « Ceph » est un nom souvent donné aux poulpes et aux céphalopodes, une famille de mollusques, et en fin de compte de l'ancien Grec κεφαλή (ke-pha-lee), qui veut dire « tête » et πόδι (po-dhi), qui veut dire « jambes ». Le nom (souligné par le logo) suggère le comportement fortement parallèle d'un poulpe et a été choisi pour connecter le système de fichiers avec la mascotte de l'UCSC (Université de Californie), une limace appelée « Sammy ». La limace est un gastéropode, qui est aussi une classe de mollusque.

Le projet ceph-helm permet de déployer Ceph dans un environnement Kubernetes pour fournir un stockage persistant.

Les conteneurs Kubernetes sont sans état en tant que principe de base, mais les données doivent toujours être gérées, protégées et rendues accessibles à d'autres services. Stateless signifie que le conteneur s'exécute de manière isolée sans aucune connaissance des transactions passées, ce qui facilite le remplacement, la suppression ou la distribution du conteneur. Cependant, cela signifie également que sans stockage persistant, les données seront perdues pour certains événements du cycle de vie comme le redémarrage ou la suppression du conteneur. Ceph est utilisé pour éviter cette contrainte et provisionner de façon dynamique des volumes persistants (PV) aux conteneurs.

• Rook est un outil d'orchestration du stockage qui fournit une solution open source cloud native pour un ensemble diversifié de fournisseurs de stockage. Rook utilise la puissance de Kubernetes (K8S) pour transformer un système de stockage en services autogérés qui offrent une expérience transparente pour la sauvegarde des données d'application ou de déploiement Kubernetes.

• Ceph est une solution de stockage distribué hautement évolutive offrant un stockage d'objets, de blocs et de fichiers. Les clusters Ceph sont conçus pour s'exécuter sur n'importe quel matériel à l'aide de l'algorithme dit CRUSH (réplication contrôlée sous hachage évolutif, Crush gère la déconnexion sauvage de nœuds, par accident ou pour remplacement) et fournir un stockage persistant pour les conteneurs kubernetes. L'un des principaux avantages de ce déploiement est d’obtenir une solution de stockage hautement évolutive sans avoir à la configurer manuellement à l'aide de la ligne de commande Ceph, car Rook la gère automatiquement. Les applications Kubernetes peuvent ensuite monter des périphériques blocs, des systèmes de fichiers et objet S3 à partir de Rook pour préserver et surveiller leurs données d'application.

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Ceph (software) » (voir la liste des auteurs).

• (en) Site officiel