Personne n'aime jeter des objets, surtout lorsque ces «choses» sont des données, ce qui explique comment les systèmes de fichiers sont pleins. Parfois, les systèmes de fichiers manquent de capacité en raison d'une erreur d'ingénierie ou d'utilisateur, mais souvent, cela se produit simplement au cours d'une journée normale. Les administrateurs ne connaissent généralement pas la valeur fine des données comme le font leurs utilisateurs. Ils ne peuvent donc pas nettoyer les données en toute sécurité pour le compte de l'utilisateur. Mais, à un moment donné, quelque chose doit disparaître.
Le premier défi pour retrouver la capacité est déterminer quoi supprimer. Pour ce faire, vous devez également savoir où chercher pour trouver quoi nettoyer! Si vous n'êtes pas familier avec l'activité récente de chaque structure de répertoire (et qui l'est?), Vous pouvez essayer d'analyser le système de fichiers avec des outils standard. Cela fonctionne très bien si le système ne contient que dix mille fichiers. Mais que se passe-t-il si elle contient dix ou cent millions, voire un milliard de fichiers? En supposant un processus à un seul thread, si chaque appel de statistiques prend une milliseconde, une centaine de millions de fichiers prennent environ une journée et génèrent une charge constante d'IOPS 1000. Ainsi, non seulement vos informations sont-elles un peu anciennes, mais cela prend beaucoup de temps à recevoir, et cela se trouve au plus haut niveau de votre recherche! Vous devrez rincer et répéter en descendant dans le système de fichiers.
De toute évidence, vous avez besoin d'une solution avec de meilleures performances. Par exemple, vous pouvez multi-thread le processus. Avec vingt travailleurs effectuant des appels statistiques, tous agissant en parallèle, vous pouvez réduire votre journée d'opération à un peu plus d'une heure. Le problème avec cette approche est que maintenant vous avez une charge en régime permanent sur votre système de 1000 fois 20 travailleurs, ce qui équivaut à 20000 IOPS ! C'est une charge de travail importante, et ce qu'il faut retenir ici, c'est qu'il s'agit de 20000 XNUMX IOPS que les systèmes de production ne peuvent pas utiliser. Tout cela au nom de savoir où se situe votre capacité en temps réel.
Comment résoudre votre problème de gestion de la capacité de stockage
Lorsqu'il s'agit d'analyser votre capacité, il existe quelques techniques standard.
1. Faites une copie complète des données
Une technique consiste à faire une copie complète des données en question en tant que sauvegarde et à exécuter des appels de statistiques sur ces métadonnées. Ce n'est pas une approche terrible, car elle utilise la sauvegarde plutôt que le système de production. Bien que la création de bases de données pour la sauvegarde soit coûteuse en termes de débit, le simple retrait des modifications du système de fichiers de production serait un compromis raisonnable. Gardez à l'esprit que cette technique augmente le coût de votre niveau de sauvegarde car le logiciel qui l'analyse est utile. Si vous lancez le vôtre, vous pouvez réduire le coût de cette option.
2. Soyez plus agressif dans l'analyse de votre système de stockage
Une autre option consiste à être plus agressif dans l'analyse et à créer cette fonctionnalité dans votre système de stockage, ce qui signifie que vous autorisez les systèmes externes à interroger ces données ou à émettre des requêtes pour collecter ces données. Cette approche n'est pas mal non plus. L'exécution d'un travail local pour collecter des métadonnées réduit le temps d'aller-retour pour tous ces appels de statistiques. Vous utiliserez certaines IOPS car un parcours en arborescence et des appels statiques sont toujours nécessaires, mais l'interface est plus efficace que SMB ou NFS.
3. Utilisez un système tiers externe pour les analyses de stockage
Une autre approche consiste à utiliser un système tiers externe qui analyse tout ce que vous avez et vous fournit des réponses sur l'ensemble de l'environnement de stockage, y compris sur plusieurs fournisseurs de stockage. Si vous avez beaucoup d'étalement, un outil comme celui-ci pourrait vous aider à obtenir une image complète et très utile. De nombreux outils font également appel à une certaine capacité de gestion / déplacement des données. Vous pouvez utiliser ce que vous apprenez sur votre environnement de stockage pour configurer le mouvement des données basé sur des stratégies entre les étapes ou les étapes du workflow. L'inconvénient de cette approche est que ces outils doivent toujours être analysés pour trouver les modifications. Vous n'avez donc pas vraiment supprimé la charge IOPS des métadonnées des systèmes de stockage et vous serez toujours un peu en retard en termes de mises à jour.
4. Stocker les données dans la base de données de métadonnées existante
Enfin, vous pouvez supprimer les appels de numérisation et les appels stat avec des fichiers et des répertoires qui mettent à jour régulièrement leurs répertoires parents et stockent ces données dans la base de données de métadonnées existante. Cette approche est en fait une amélioration significative car la mise à jour peut se produire en temps quasi réel. Si chaque objet avec de nouvelles modifications rapporte à son parent toutes les secondes 15, et si, par exemple, il existe une arborescence de huit niveaux de profondeur, root aura deux minutes pour en savoir plus sur l'ajout ou la suppression. . C'est beaucoup mieux qu'une heure ou une journée! C'est l'approche que Qumulo utilise pour ses analyses en temps réel.
Un autre avantage de l'approche Qumulo est que, peu importe le nombre d’analyses que vous effectuez et le nombre d’appels de statistiques que vous effectuez, vous ne pouvez toujours pas répondre facilement à la question la plus importante: «Quelles données sont importantes? Si quelqu'un conteste l'importance d'un projet devant être archivé, vous pouvez utiliser les données d'analyse au fil du temps pour montrer qu'il n'a pas été touché depuis des mois ou des années. Cela ajoute de la clarté à une décision de stockage autrement trouble. À l'inverse, ces données d'analyse vous permettent également de montrer que parfois, même si un fichier est ancien, il représente un ensemble de données qui est toujours utilisé régulièrement.
Points à retenir sur la gestion de la capacité de stockage
Comme pour toute tâche d'ingénierie, c'est à vous et à votre équipe de déterminer quelle approche convient le mieux à votre environnement. Si vous rencontrez des difficultés avec votre capacité de stockage, voici quelques points à prendre en compte:
- N'ayez pas peur des nouveaux vendeurs. Les nouveaux entrants sur le marché auront probablement des moyens plus modernes de traiter l'analyse de capacité que les fournisseurs plus anciens et mieux établis.
- Recherchez des optimisations de stockage. Tout le monde analyse, alors recherchez un système de stockage avec des optimisations telles que la mise en cache des métadonnées, des méthodes intelligentes d'élagage de la recherche et l'analyse locale.
- Recherchez une API. Si vous appréciez l'intégration étroite du flux de travail, assurez-vous d'avoir un accès par programme aux données numérisées, d'une manière ou d'une autre. Une API est préférable, même si elle ne peut interroger qu'une base de données hébergée sur le système de stockage. Vous souhaiterez peut-être intégrer des données de capacité dans votre système de gestion de production ou votre gestionnaire d'actifs multimédias, et vous voulez que ces données d'analyse soient faciles à utiliser et à manipuler.
- Utilisez des quotas ou des volumes. Utilisez des quotas ou des volumes pour gérer le comportement des utilisateurs et empêcher les utilisateurs de remplir votre stockage avec leurs données. Par exemple, Qumluo a des quotas basés sur des répertoires qui peuvent être appliqués en temps réel.
