Les problèmes de stockage les plus courants des environnements à grande échelle (et comment les résoudre)

Dans cette série de blogs en trois parties, nous discutons des dix problèmes de gestion des données de fichiers les plus courants dans les environnements de stockage à grande échelle. Mais d'abord, un peu de contexte.

L'échelle de douleur universelle pour les environnements de stockage de fichiers très volumineux

Beaucoup d'entre vous ont vu un échelle de douleur universelle dans un hôpital ou une salle d'urgence, où votre médecin vous demande : « Sur une échelle de 1 à 10, à quel point cela fait-il mal ? » Votre réponse aide les professionnels de la santé à évaluer la gravité de votre douleur, afin qu'ils puissent prescrire un traitement et allouer les ressources de manière appropriée.

J'ai trouvé des graphiques comme celui-ci qui aident également à trier les problèmes identifiés lors de l'évaluation des environnements de stockage de fichiers très volumineux. Lorsqu'on examine une architecture de stockage, une ingénierie et une administration, la difficulté réside dans la mesure qualitative de l'impact sur la productivité de ses utilisateurs.

Par exemple, il pourrait y avoir un problème simple avec une solution de contournement facile qui pourrait être classée comme 2 ou quelque chose qui « peut être ignoré ». Mais il peut également y avoir un problème de performances qui surgit lorsque la ferme de calcul exécute des charges de travail hautes performances telles que la simulation physique, la découverte légale ou l'analyse génomique. Dans ce cas, la douleur interfère avec la capacité d'un utilisateur à se concentrer et à terminer un projet, mettant l'échelle de douleur à 6 (« interfère avec la concentration »).

Ou, vous pourriez avoir un bogue persistant dans votre système de stockage, le faisant tomber au hasard pendant une heure à la fois. Cela arrête complètement le stockage des données et devient assez pénible – c'est presque un 8 (« interfère avec les besoins de base. ») Ensuite, il y a une perte complète de données, qui est un 10 (« repos au lit requis ! »).

Le fait est que votre environnement de stockage peut être très pénible, que vous soyez éditeur, scientifique, architecte cloud, artiste, administrateur de stockage ou ingénieur. Vos charges de travail augmentent à mesure que l'organisation essaie de tirer plus de productivité et d'argent avec moins de matériel, moins de talent et moins de temps. Et les exigences de l'entreprise ne cessent d'augmenter, qu'il s'agisse de la taille du projet, des performances totales ou même du délai d'exécution.

Explorer les 10 problèmes de stockage les plus courants, quelques-uns à la fois

Chez Qumulo, nous discutons avec de nombreuses entreprises, organisations et utilisateurs de leurs problèmes de stockage de données. Nous sommes très axés sur les données et interviewer des chefs d'entreprise et des utilisateurs nous aide à découvrir ce qui fonctionne, ce qui ne fonctionne pas et ce qui doit changer. Nos conversations nous ont montré que les sources les plus courantes de douleur de stockage sont les dix suivantes.

1. Douleur de capacité (le stockage n'est pas assez grand)
2. Douleur de performance (le stockage n'est pas assez rapide)
3. Difficulté de mise à l'échelle (les performances ou la capacité ne peuvent pas augmenter efficacement, à la fois sur site et dans le cloud !)
4. Problème de logiciel hérité (les systèmes obsolètes ont un impact sur les performances des utilisateurs)
5. Difficulté de disponibilité (le stockage manque de résilience et tombe en panne occasionnellement, ce qui a un impact sur la productivité)
6. Douleur budgétaire (le stockage est toujours trop cher)
7. La cécité des données (ne pas savoir comment vos données sont utilisées ou ce qui se passe dans vos référentiels de stockage)
8. Perte de données (le pire des cas)
9. Douleur de la localité des données
10. La douleur de la migration des données

Gérer la capacité de stockage, les performances et les problèmes de mise à l'échelle

Pour chacune des sources de douleur ci-dessus, j'expliquerai pourquoi elles se manifestent, quel type de douleur elles causent et comment les administrateurs de stockage peuvent résoudre des problèmes spécifiques.

1. La capacité de stockage n'est pas assez grande

La plainte la plus ancienne en matière de stockage est « nous avons besoin de plus d'espace ! » Cela remonte à l'Antiquité, lorsque nous stockions la nourriture dans les greniers – vous avez toujours besoin de plus d'espace pour les choses importantes que vous souhaitez stocker.

En tant qu'administrateur, avez-vous déjà eu à gérer un système de fichiers complètement complet? Ou en tant qu'utilisateur, avez-vous déjà dû arrêter vos activités et nettoyer vos fichiers, ou attendre que les administrateurs vous donnent plus d'espace? Les systèmes de fichiers complets sont une réalité: il s'agit parfois d'une erreur de l'utilisateur, parfois d'une erreur d'ingénierie, et parfois cela se produit au cours d'une tâche normale.

Personne n'aime jeter des choses, et personne ne connaît la valeur fine de leurs données, comme le font les utilisateurs. En conséquence, les administrateurs ne peuvent souvent pas nettoyer les choses en toute sécurité pour le compte des utilisateurs. Malheureusement, c’est généralement la première étape nécessaire pour reprendre la production.

La première chose à comprendre : où se trouve le problème dans l'arborescence en analysant la structure du répertoire. Il existe des outils courants qui permettent de le faire : du sur une machine Linux, Obtenir des informations sur un Mac ou Clic droit->Propriétés sur une machine Windows. Tous ces outils parcourent un arbre, indiquent tout ce qu'ils trouvent, additionnent la capacité et enfin vous présentent une réponse. Cela fonctionne très bien si votre système de fichiers ne contient que 10,000 100 fichiers, mais si vous en avez des centaines de millions, voire des milliards, ce sera pénible. Cent millions de fichiers peuvent prendre jusqu'à une journée à visiter et à revenir avec une réponse, et vous devrez peut-être rincer et répéter ce processus lorsque vous descendez dans le système de fichiers lors de votre chasse.

Quelques réflexions sur le traitement de la douleur liée à la capacité de stockage :

• Recherchez des méthodes modernes d'analyse de la capacité. Les outils traditionnels doivent analyser, ce qui entraîne des opérations d'E/S inutiles et de longs temps d'attente pour les réponses.
• Assurez-vous que le système de stockage que vous envisagez dispose d'un accès programmatique aux métadonnées de capacité, de préférence via une API. Vous pouvez intégrer ces données de capacité à votre système de gestion de production, à votre gestionnaire d'actifs multimédias ou à votre système de surveillance de réseau, etc. Vous voulez que ces données de capacité soient faciles à utiliser et à manipuler.
• Utilisez des quotas ou des volumes pour contrôler le comportement des utilisateurs, par exemple en remplissant votre stockage de copies infinies de leurs données de travail ou de leurs collections de films personnels géantes.
• Recherchez des systèmes capables de faire évoluer la capacité de manière transparente et facile (nous en reparlerons dans un instant !).

Le stockage est essentiel pour notre entreprise, qui est essentiellement une lance à incendie de données. Nous ne pourrions pas faire notre travail sans une solution évolutive haute performance et haute densité.
Nathan Conwell, ingénieur principal de plate-forme, Imagerie Vexcel

2. Douleur des performances de stockage : le stockage n'est pas assez rapide

La performance peut être un terme assez nébuleux, mais lorsque les gens du stockage en parlent, c'est généralement en termes de débit, d'iops ou de latence d'un seul système ou d'une population de systèmes. Vous devez trouver un équilibre entre les utilisateurs qui seront très sensibles à la latence et les fermes de calcul, qui sont généralement axées sur le débit afin qu'elles puissent remplir les espaces mémoire avec des éléments sur lesquels calculer.

Les performances ultra-élevées étaient autrefois le seul domaine des systèmes de fichiers SAN partagés et parallèles à grande vitesse. Aujourd'hui, nous constatons que le NAS a vraiment commencé à rattraper son retard. Nous avons un matériel plus rapide, un stockage flash, de meilleures techniques de mise en page des données, de meilleures approches de protocole - toutes ces choses ont aidé/aident le NAS à réduire les exigences SAN/bande passante. Je pense que vous allez voir de plus en plus de parties prenantes préférer la simplicité du NAS à la complexité du SAN.

Autres remèdes contre les problèmes de performances de stockage :

• Essayez d'aborder à l'avance les problèmes de performances potentiels. Lorsque cela est possible, ayez une bonne compréhension de vos flux de travail attendus avant de découper l'infrastructure.
• Assurez-vous que vous avez choisi un système de taille appropriée pour votre système - vous pouvez économiser de l'argent avec un système évolutif et en achetant uniquement le stockage dont vous avez besoin dès maintenant. Lorsque cela est possible, essayez de calculer la probabilité que vous ayez besoin d'une marge supplémentaire et quand vous en aurez besoin de plus.
• Au-delà de ce qui précède, vous aurez peut-être besoin d'un système que vous pouvez faire tourner vers le haut et le bas. Si vous prévoyez de passer des jours ou des semaines entre les projets et que vous n'avez besoin du système de stockage pour rien d'autre, il peut être judicieux d'envisager un modèle de travail de cloud public à la demande exploitant l'accès à distance, plutôt qu'une installation sur site .
• La nécessité de soutenir une main-d'œuvre distante est un autre facteur entraîné par la pandémie mondiale. L'industrie des médias et du divertissement a connu une demande extrême. Pour respecter les délais de production et permettre aux équipes créatives de collaborer virtuellement, de nombreux studios se sont tournés vers le cloud pour montage vidéo à distance sur des postes de travail virtuels dans un environnement de post-production.
• Si vous avez une charge de travail aberrante très lourde, comme une seule station de travail à haute vitesse, voyez si vous pouvez la résoudre avec une solution ponctuelle. Un poste de travail ne devrait pas être le moteur pour que vous achetiez une quantité massive de stockage à haute vitesse. Cela va simplement être gaspillé sur la majorité de vos charges de travail.
• En revanche, si vous avez beaucoup de charges de travail à consolider, pensez à la efficacité de stockage gain de combiner des charges de travail à faible performance et à haute performance dans le même système. Vous bénéficiez des avantages de l'efficacité du stockage d'un système plus volumineux sans impacter négativement sur la charge de travail.

3. Difficulté de mise à l'échelle du stockage : les performances ou la capacité ne peuvent pas augmenter efficacement à la fois sur site et dans le cloud public

La mise à l'échelle du stockage de données est intéressante. Si votre entreprise se développe, vos charges de travail augmentent probablement également et cela signifie que vous devez équilibrer de nombreuses considérations par rapport à vos charges de travail lorsque vous pensez à augmenter la capacité ou les performances.

Alors que la dernière décennie a vu des améliorations dans la mise à l'échelle des systèmes de fichiers de stockage, la plupart ne sont pas très faciles à étendre et beaucoup sont vraiment difficiles à faire grandir en premier lieu. Examinons quelques problèmes spécifiques :

• Si vous avez des charges de travail imprévisibles, recherchez un système de fichiers facile à mettre à l'échelle afin que vous puissiez prendre en charge des charges de travail en expansion ou de nouvelles charges de travail en toute confiance.
• Comprenez vos charges de travail. Sachez quel est le véritable coût d'infrastructure de vos flux de travail et processus (c.-à-d. capacité, performances, exigences de connectivité). Lorsque l'entreprise vient à vous avec un besoin d'expansion, vous serez en mesure de dimensionner en toute confiance l'expansion de votre infrastructure pour l'adapter.
• Déterminez s'il est logique que certaines de vos charges de travail s'exécutent sur le cloud. Si votre système de fichiers prend en charge une stratégie de cloud hybride, vous pouvez profiter des performances et de la capacité du cloud pour charges de travail en rafale si nécessaire.

« Notre équipe a été en mesure de maintenir une mise à l'échelle en rafale à un taux de 1.3 million d'IOPS pendant plus de 5 heures à la fois, avec des pics pouvant atteindre 2 millions d'IOPS. C'est un niveau sans précédent dans le passé, et cela montre à quel point Qumulo nous a aidés à condenser nos délais de production si nécessaire et à permettre aux artistes d'avoir plus d'itérations en moins de temps, résultant globalement en un travail final de meilleure qualité.
Jeremy Brousseau, chef des TI, Cinesite Vancouver

À venir : les logiciels hérités, la disponibilité et les problèmes budgétaires

Dans le prochain article, nous allons explorer trois autres des 10 problèmes de stockage courants des environnements de stockage de fichiers très volumineux. Ce sont les problèmes des systèmes obsolètes sur les performances des utilisateurs, le manque de disponibilité sur leur productivité et le coût de l'extension du stockage.

Le moderne de Qumulo logiciel de gestion et de stockage de données de fichiers a été spécialement conçu pour prendre en charge les stratégies de cloud hybride pour les charges de travail hautes performances à grande échelle.