NPR a récemment rendu compte d'une nouvelle méthode fascinante par des scientifiques californiens pour compter la population marine dans les eaux protégées de l'État - en effectuant des tests ADN sur seulement un litre d'eau de mer. L'ancienne façon de mener un recensement marin consistait pour un plongeur à enregistrer le nombre de poissons et d'autres animaux sauvages sur un presse-papiers étanche. La nouvelle méthode utilise le séquençage génomique pour détecter l'ADN laissé par la vie marine et déterminer quelles espèces ont été dans la région.
L’histoire est un exemple frappant d’une approche traditionnelle «idiote» face à un défi de taille qui doit être remplacé, grâce à la technologie, par une nouvelle méthode qui libère la valeur des données de manière radicalement plus efficace, efficace et économique.
Une transformation tout aussi spectaculaire se joue dans stockage de données volumineuses.
Évolution du stockage Big Data : un bref historique
Pendant des décennies, le stockage n’a essentiellement servi que comme un dépotoir de données. Dans les «90», il y avait un stockage en bloc pour les données hautement transactionnelles et un stockage de fichiers pour les données non structurées et départementales. Le stockage en réseau est apparu et a amélioré les performances et l'évolutivité. Lorsque le stockage de fichiers en mode évolutif NAS ne pouvait plus gérer la capacité requise pour les besoins Web, le stockage d'objets et le flash devinrent populaires.
Mais malgré toutes les avancées, le stockage d'entreprise a eu du mal à fournir un niveau de performance qui puisse répondre aux besoins des Big Data et Charges de travail IA. Et il n'a pas été en mesure de répondre aux questions de base pour les organisations : qu'est-ce que j'ai réellement ? Où va ma performance en ce moment ? Qu'est-ce qui a poussé la croissance au cours des six derniers mois? Qu'est-ce qui va stimuler la croissance au cours des six prochains mois?
Dans des entretiens menés par Qumulo avec plus d’administrateurs, d’acheteurs et d’utilisateurs de stockage 600, nous avons constaté que deux choses les maintenaient dans la nuit: comment gérer la croissance des données et un manque de compréhension de toutes ces données.
C'est pourquoi l'analyse en temps réel est l'un des principaux avantages que les clients retirent de Qumulo Core. Qumulo Core, la première et la seule solution au monde à intégrer des informations de système de fichiers en temps réel directement dans un NAS extensible par logiciel, permet la gestion de milliards de fichiers et de pétaoctets de données. analyse de performance.
Gérer des milliards de fichiers sans affecter les performances du système de fichiers
En proposant des analyses en temps réel qui agrègent les métadonnées à grande échelle (des dizaines de des milliards de fichiers et de nombreux pétaoctets de stockage), Qumulo Core déchiffre ce qui était auparavant des mystères - quelle est la croissance, où vont les performances et à quoi ressemble l'empreinte de stockage au fil du temps.
Un problème avec les systèmes de fichiers traditionnels est que les processus manuels ou même automatiques pour comprendre les détails sur les données stockées - comme les parcours d'arborescence, les analyses de métadonnées et les recherches de système de fichiers - peuvent prendre du temps et avoir un impact considérable sur les performances. Qumulo exploite un niveau flash dans le cadre de sa conception hybride flash-first et met à jour l'analyse des métadonnées des fichiers en temps réel sans affecter les performances du système de fichiers.
Évolution de l'analyse en temps réel dans le stockage de fichiers
Les métriques en temps réel sont étonnamment difficiles à obtenir des systèmes de stockage traditionnels. Lorsque les systèmes de fichiers ont été conçus il y a des décennies, il suffisait de parcourir quelques milliers de fichiers pour retrouver l’utilisation du disque et d’autres données analytiques. Cela pourrait être accompli relativement rapidement. Finalement, des systèmes de fichiers évolutifs sont apparus et nous avons eu des centaines de millions de fichiers à résoudre, ce qui a entraîné des problèmes.
Supposons que 5ms à stat un fichier (qui est commun avec les fichiers basés sur le disque dur) pour obtenir des données analytiques. Avec un million de fichiers, il faut des heures 1.4 pour parcourir le répertoire. si vous avez un milliard de fichiers, cela prend 57.8 jours. Diverses techniques ont été conçues pour accélérer le processus, mais elles ont des problèmes. Le problème fondamental est que les systèmes de fichiers traditionnels et les commandes POSIX ne sont pas conçus pour traiter le nombre de fichiers stockés sur les systèmes de fichiers actuels.
"Même l'une des tâches les plus triviales - déterminer l'espace que les fichiers d'un système de fichiers consomment - est très compliquée à répondre sur les systèmes de fichiers de première génération", a déclaré le cabinet d'analystes The Groupe Taneja dit. « Les systèmes de fichiers de deuxième génération doivent être conçus pour être sensibles aux données, pas seulement au stockage. »
Qumulo modernise le stockage du système de fichiers avec des analyses en temps réel
L'analyse en temps réel de Qumulo Core aide les entreprises à obtenir des réponses instantanées sur leur empreinte de données en expliquant les modèles d'utilisation et les utilisateurs ou les charges de travail qui affectent leurs performances et leur capacité.
Qumulo Core est alimenté par QSFS, le Système de fichiers évolutif Qumulo qui intègre des analyses évolutives directement dans le système de fichiers lui-même. Qumulo Core peut générer des rapports d'analyse pour des millions et des milliards de fichiers stockés sur leur système de fichiers en temps réel, et non en heures ou en jours.
Ce n'est pas une simple théorie - les clients de Qumulo profitent de ces avantages aujourd'hui. À l'instar des scientifiques californiens, ils découvrent les avantages incroyables de l'utilisation d'une approche orientée données pour mieux comprendre leur environnement.
