Système de stockage de fichiers de Qumulo

Analytiques

Visibilité et contrôle en temps réel

Le système de fichiers de Qumulo est conçu pour faire beaucoup plus que stocker des données de fichiers. Il vous permet également de gérer vos données et vos utilisateurs en temps réel. Les administrateurs de dispositifs de stockage hérités peuvent souvent être gênés par «l'aveuglement des données», ce qui signifie qu'ils ne peuvent pas obtenir une image précise de ce qui se passe dans leur système de fichiers. Le système de fichiers de Qumulo est conçu pour offrir exactement ce type de visibilité, quel que soit le nombre de fichiers et de répertoires. Vous pouvez, par exemple, obtenir un aperçu immédiat de tendance de débit et points chauds. Vous pouvez également définir des quotas de capacité en temps réel, ce qui évite la surcharge de temps liée au provisionnement de quotas du stockage hérité. Les informations sont accessibles via une interface utilisateur graphique et il existe également un API REST cela vous permet d'accéder à l'information par programme.

Les fonctionnalités d'analyse intégrées du système de fichiers Qumulo sont fournies par un composant appelé QumuloDB.

Comment c'est possible

Lorsque les gens se familiarisent avec les analyses en temps réel de Qumulo et les regardent jouer à grande échelle, leur première question est généralement: «Comment cela peut-il être si rapide?» Les performances exceptionnelles de l'analyse en temps réel de Qumulo sont possibles pour trois raisons:

  1. Les analyses QumuloDB sont intégrées et entièrement intégrées au système de fichiers lui-même. Dans les systèmes existants, les requêtes de métadonnées sont traitées en dehors du système de fichiers principal par un composant logiciel non associé.
  2. Parce que le système de fichiers s'appuie sur les arbres BQumuloDB analytics peut utiliser un système innovant d’agrégats temps réel (plus de détails ci-dessous).
  3. Les analyses QumuloDB sont possibles grâce à la conception simplifiée du système de fichiers, qui est due à son utilisation des index B-tree et des blocs et transactions protégés virtualisés du système de fichiers. Qumulo Scalable Block Store (SBS).

Agrégation de métadonnées en temps réel

Dans le système de fichiers Qumulo, les métadonnées telles que les octets utilisés et le nombre de fichiers sont agrégées en tant que fichiers et les répertoires sont créés ou modifiés. Cela signifie que les informations sont disponibles pour un traitement rapide sans passer par de coûteuses recherches dans l’arborescence du système de fichiers.

QumuloDB tient à jour des résumés de métadonnées. Il utilise les arbres B du système de fichiers pour collecter des informations sur le système de fichiers au fur et à mesure des modifications. Divers champs de métadonnées sont résumés dans le système de fichiers pour créer un index virtuel.

Les analyses de performances que vous voyez dans l'interface graphique et que vous pouvez extraire avec l'API REST sont basées sur des mécanismes d'échantillonnage intégrés au système de fichiers. Des techniques d'échantillonnage statistiquement valables sont possibles en raison de la disponibilité de résumés de métadonnées à jour qui permettent aux algorithmes d'échantillonnage d'accorder plus de poids aux plus grands répertoires et fichiers. L'agrégation des métadonnées dans le système de fichiers de Qumulo utilise une approche ascendante et descendante.

Chaque fichier (ou répertoire) étant mis à jour avec de nouvelles métadonnées agrégées, son répertoire parent est marqué «sale» et un autre événement de mise à jour est mis en file d'attente pour le répertoire parent. De cette manière, les informations du système de fichiers sont collectées et agrégées lors de leur transmission dans l'arborescence. Les métadonnées se propagent du nœud individuel, au niveau le plus bas, à la racine du système de fichiers lorsque les données sont accessibles en temps réel. Chaque opération de fichier et de répertoire est comptabilisée et cette information se propage finalement jusqu'au cœur même du système de fichiers. Voici un exemple.

L'arborescence de gauche regroupe les informations sur les fichiers et les répertoires et les intègre dans les métadonnées. Une mise à jour est ensuite mise en file d'attente pour le répertoire parent. L'information monte, des feuilles à la racine. Parallèlement à la propagation ascendante des événements de métadonnées, un parcours périodique commence en haut du système de fichiers et lit les informations globales présentes dans les métadonnées. Lorsque le parcours trouve des informations agrégées récemment mises à jour, il élague sa recherche et passe à la branche suivante. Il suppose que les informations agrégées sont à jour dans l'arborescence du système de fichiers à partir de ce point vers les feuilles (y compris tous les fichiers et répertoires contenus) et qu'il n'est pas nécessaire d'aller plus loin pour des analyses supplémentaires. La plupart du résumé de métadonnées a déjà été calculé et, idéalement, la traversée ne doit résumer qu'un petit sous-ensemble de métadonnées pour l'ensemble du système de fichiers. En réalité, les deux parties du processus d'agrégation se rencontrent au milieu, sans avoir à explorer l'arborescence complète du système de fichiers de haut en bas.

Requêtes d'échantillonnage et de métadonnées

Un exemple d'analyse en temps réel de Qumulo est ses rapports sur les points chauds de performance. Voici un exemple tiré de l'interface graphique:

Représenter chaque opération de débit et IOPS dans l'interface graphique serait infaisable dans les systèmes de fichiers volumineux. Au lieu de cela, les requêtes QumuloDB utilisent l'échantillonnage probabiliste pour fournir une approximation statistiquement valide de cette information. Les totaux pour les opérations de lecture et d'écriture IOPS, ainsi que les opérations de lecture et d'écriture de débit d'E / S, sont générés à partir d'échantillons rassemblés à partir d'un tampon en mémoire de plus de 4,000 entrées à jour toutes les quelques secondes.

Le rapport présenté ci-dessus affiche les opérations qui ont le plus grand impact sur le cluster. Ceux-ci sont représentés en tant que points chauds dans l'interface graphique.

La capacité de Qumulo à utiliser un échantillonnage probabiliste statistiquement valide n'est possible que grâce aux métadonnées résumées de chaque répertoire (octets utilisés, nombre de fichiers) constamment mises à jour par QumuloDB. C'est un avantage unique des techniques logicielles avancées de Qumulo que l'on ne retrouve dans aucun autre système de stockage de fichiers.

Vous voulez en savoir plus?

Donnez-nous 10 minutes de votre temps, et nous vous montrerons comment repenser le stockage de données.