Le stockage de fichiers cloud traditionnel ne s'adapte pas à l'échelle.
Presque toutes les solutions de fichiers dans le cloud reposent sur des disques blocs managés, et ce choix unique lie indissociablement calcul et stockage. Besoin de plus de téraoctets ? Achetez des nœuds supplémentaires, même si les performances sont déjà satisfaisantes. Vous payez pour la capacité provisionnée et non pour celle réellement utilisée. De plus, chaque petite écriture sollicite fortement ces disques avec des IOPS facturées 24 h/24 et 7 j/7, le tout sur un niveau de stockage dont la disponibilité est loin d'égaler celle du stockage objet situé juste à côté, dans le même cloud.
Cloud Native Qumulo (CNQ) est construit à l'inverse : un cluster élastique de calcul et de cache en haut, avec un stockage d'objets cloud (Amazon S3, Azure Blob, Google Cloud Storage ou Oracle Object Storage, comme couche persistante en dessous).
Nous venons de publier une courte animation et un diaporama d'accompagnement, qui illustrent les opérations d'écriture et de lecture côté client à travers cette architecture. Voici ce qu'ils montrent et pourquoi c'est important.
Le chemin de l'écriture, dans une phrase
Les requêtes d'écriture du client sont déposées dans un cache d'écriture SSD en miroir et sont confirmées en moins d'une milliseconde. Suite à cette confirmation, NeuralCache regroupe, compacte et compresse des milliers de petites requêtes.
Il écrit dans une poignée de gros objets, chiffre tout avec AES-256 dans le format de bloc protégé de Qumulo et l'enregistre dans le stockage d'objets, regroupant ainsi efficacement des centaines de petites requêtes d'écriture en quelques PUT efficaces.
Le chiffre qui compte apparaît dans le coin de la vidéo : 1 000 petites écritures en entrée, environ 10 écritures d’objets en sortie, jusqu’à 99 % d’appels d’API de stockage d’objets en moins.
Pourquoi est-ce si important ? Le stockage d'objets est facturé à la requête, et pour les charges de travail de fichiers, ces frais représentent l'un des postes de dépenses cachés les plus importants dans une facture cloud. Les systèmes de fichiers à disque géré répondent aux petites écritures avec des IOPS provisionnées que vous payez en continu. CNQ traite ces requêtes au niveau de la couche de calcul, ce qui évite tout appel d'API.
Le chemin de lecture, dans une phrase
Lorsqu'un client envoie une requête de lecture à CNQ, il y a plus de 99 % de chances que les données demandées soient déjà présentes dans le cache NVMe de CNQ ou en mémoire système : une rapidité fulgurante, sans aucun accès au stockage objet. Le cache anticipe la charge de travail car NeuralCache construit un jumeau numérique des E/S de chaque application, alimenté par 14 ans de télémétrie et plus de 250 000 milliards de points de données, ce qui lui permet de prédire les lectures futures et de les précharger depuis le stockage objet.
Les requêtes de lecture de données froides alimentent le cache au fur et à mesure de leur traitement. La prédiction complète le reste. Et les rares échecs se traduisent par une requête GET unique et efficace auprès de la couche de stockage d'objets, après quoi les données sont transférées vers le cache afin que la prochaine requête pour le même bloc de données soit servie depuis le cache local. Sur l'ensemble des installations Qumulo, le taux d'accès au cache dépasse 99 % (ce qui explique pourquoi la vidéo ne montre qu'un seul instant d'échec).
Télécharger la présentation
Résultat : des performances de lecture et d'écriture équivalentes à celles de la mémoire flash, au prix du stockage objet.
Ce que la désagrégation vous apporte
Comme les performances et la capacité sont totalement désagrégées, elles évoluent sur des axes complètement indépendants.
Les performances sont gérées au niveau de la couche de calcul. Commencez avec un minimum de trois instances EC2 ou machines virtuelles, puis ajoutez ou redimensionnez des nœuds en quelques minutes pour adapter les performances à vos besoins. Augmentez la capacité lors des pics de charge, puis réduisez-la lorsque la demande diminue. Le débit et les IOPS s'en trouvent optimisés, sans que vos données ne soient jamais déplacées ni interrompues.
La capacité est assurée exclusivement par la couche objet. Il s'agrandit et se réduit automatiquement, de manière quasi illimitée, sans aucune planification de capacité requise, jamais, et sans extension par chariot élévateur.
Pour une latence minimale, exécutez CNQ sur une seule zone de disponibilité (monozygotiée). Vous pouvez également le déployer en tant que véritable cluster multi-AZ capable de résister à une panne de zone complète sans avoir à acheter ni à gérer de réplica miroir. Dans les deux cas, CNQ se déploie en une dizaine de minutes depuis CloudFormation ou Terraform, au sein de votre compte et de votre réseau. Pour une maîtrise accrue des coûts, Azure Native Qumulo offre la même évolutivité et les mêmes performances qu'un service entièrement géré pour les clients Azure.
Pourquoi l'économie l'emporte
Chaque ligne de la comparaison dans le deck est structurelle, et non promotionnelle :
● Capacité au prix du stockage objet au lieu des disques blocs provisionnés
● Des performances évolutives indépendamment de la capacité, au lieu d'y être limitées.
● Facturation à la minute uniquement pour la capacité réellement utilisée, au lieu de payer pour des disques pré-provisionnés vides ou partiellement utilisés.
● Réduction de 99 % des requêtes GET et PUT, au lieu des IOPS provisionnées, de la prolifération des disques et des frais de transaction API incontrôlés
● Croissance automatique, au lieu d'une planification constante
L'économie du stockage objet associée à une puissance de calcul adaptée permet de réduire considérablement le coût total de possession (TCO) de toute solution de fichiers cloud à disque géré, un avantage intégré à l'architecture même.
Regardez-le, puis exécutez-le
L'animation couvre tout cela en environ quatre-vingt-dix secondes, et le jeu de cartes vous propose la version que vous pouvez partager.
Si vous préférez suivre le parcours de vos écritures dans le système ou observer comment vos charges de travail s'adaptent au cloud, Cloud Native Qumulo se déploie sur votre compte en quelques minutes. Et si vous souhaitez discuter de la façon dont le chemin de lecture et d'écriture correspond à vos charges de travail, Nous aimerions recevoir de vos nouvelles.
À propos de l’auteur
Antony Wright est ingénieur système senior chez Qumulo, basé à Sydney, en Australie. Il est responsable des activités en Australie et en Nouvelle-Zélande et aide les clients de toute la région à optimiser leurs flux de données non structurées, de la périphérie au cœur du réseau jusqu'au cloud, en réduisant leurs coûts et les risques.