Par Paula Dallabetta

C'était une nuit sombre et orageuse.
Le téléphone sonne. C'est le bureau.
Votre coeur tombe de surprise et d'horreur.
Vos systèmes sont entièrement à court de stockage…

Ceci est un scénario cauchemardesque pour de nombreux administrateurs de systèmes de stockage. Vous faites tout ce que vous pouvez pour comprendre vos besoins en matière de stockage. Vous achetez le stockage dont vous pensez avoir besoin - même un peu plus (ou beaucoup plus) afin de disposer d'une marge de manœuvre pour les scénarios imprévus - tout en restant surpris et à court de stockage. .

Une chose qui surprend souvent les administrateurs système par surprise est ce que nous appelons la «taxe sur les petits fichiers». Il s'avère que les systèmes de stockage évolutifs hérités ne font pas un très bon travail en matière de gestion de petits fichiers. Par petit, nous entendons n'importe quoi sous 128KB. Les petits fichiers consomment deux à trois fois plus d'espace de stockage que prévu - c'est une taxe assez lourde s'il y en a beaucoup.

En effet, ces systèmes reposent sur une conception vieille de plusieurs décennies qui les oblige à mettre en miroir (ou double miroir, parfois même triple miroir) des fichiers sous un seuil 128KB. Non seulement la mise en miroir de fichiers de petite taille utilise un codage extrêmement inefficace, mais l’espace nécessaire pour la dupliquer est déduit de ce que le fournisseur rapporte souvent comme étant une capacité utilisable. Un précédent article de blog fournit plus de détails à ce sujet («Puis-je vraiment utiliser 100% de ma capacité? Avec Qumulo, la réponse est oui!").

La mise en miroir est totalement inefficace car elle crée simplement deux ou trois copies complètes des données protégées qui résident sur des disques différents. Bien que cela soit efficace en termes de protection des données, il réduit de moitié la capacité de stockage disponible dans le cas de la double mise en miroir et de deux tiers dans le cas de la triple mise en miroir. À l'échelle du téraoctet, cela est incroyablement inefficace; à l'échelle du pétaoctet, il est ahurissant qu'un fournisseur vous demande d'utiliser un tiers à deux tiers de votre stockage pour la protection des données.

Il existe un moyen de mettre fin à ce cauchemar.

À grande échelle, il est inefficace de protéger de petits fichiers simplement en créant des copies. Qumulo l'a compris très tôt. Nous avons développé une approche fondamentalement différente de la protection des données, qui protège au niveau des blocs par rapport au niveau des fichiers. Travailler au niveau du bloc plutôt qu'au niveau du fichier à l'aide de notre codage d'effacement personnalisé permet de protéger efficacement les données sans avoir à créer une copie un-à-un de l'ensemble du volume de données.

Opérer au niveau du bloc plutôt qu'au niveau du fichier signifie que vous ne devez pas protéger chaque fichier individuellement. Au lieu de cela, les données de bloc sont codées dans des segments partiellement redondants qui sont stockés sur un support physique distinct.

Lors de la gestion de petits fichiers, la protection au niveau des blocs offre une efficacité de stockage pouvant aller jusqu'à 40, au-delà de la protection basée sur les fichiers. Vous obtenez même un pourcentage d'efficacité 20 supérieur sur les gros fichiers. En fait, vous pouvez stocker des milliards de petits fichiers aussi efficacement que les gros.

Voici un exemple de taxe sur les petits fichiers, tirée d'un site client réel de Qumulo.

Système concurrent traditionnel Avant Migration Qumulo Hybrid Cloud Storage après Migration

Ce client a migré environ un million de petits fichiers 30 vers un cluster Qumulo à partir d’un cluster de stockage hérité. La boîte de dialogue de gauche (Système concurrent hérité - Avant la migration) indique la quantité d'espace occupée par ces fichiers sur le système du fournisseur hérité, qui reflète les petits fichiers. La boîte de dialogue de droite (Stockage de fichiers dans le Cloud hybride Qumulo - Après la migration) indique la quantité d'espace occupée par les fichiers sur le cluster Qumulo.

Dans cet exemple concret, vous pouvez voir le résultat de la taxe sur les petits fichiers du fournisseur hérité: stocker ces fichiers consomme de l'espace utilisable par plus de trois fois le nombre d'octets de fichier utilisateur stockés! Il a fallu à 33.2TB une capacité utilisable pour stocker 9.33TB des données de fichier. Sur le cluster Qumulo, il n'a fallu que 9.49TB. Qumulo élimine la taxe sur les petits fichiers et stocke les petits fichiers aussi efficacement que les gros fichiers.

Vous vous demandez peut-être quel impact cette taxe sur les petits fichiers a sur mon stockage?

Avec les systèmes hérités, il est impossible de dire quelle quantité de stockage vous allez utiliser à moins de connaître à l'avance la taille exacte de chaque fichier que vous prévoyez d'écrire, de voir combien tombe en dessous du seuil 129KB, puis de faire le calcul pour chaque fichier. Parlez d'un cauchemar, surtout lorsque vous traitez avec des milliards de fichiers!

En conséquence, il est impossible de savoir quelle capacité utilisable vous avez réellement - ou quand vous serez à court. Au lieu de cela, vous devrez procéder à une surprovision pour être sûr d'être couvert. Cela signifie que vous gaspillez réellement de l'argent de deux manières: d'une part, pour la capacité «utilisable» que vous perdez au profit de la taxe sur les petits fichiers, et d'autre part, pour la capacité supplémentaire que vous achetez.

Qumulo simplifie l’estimation de la quantité de mémoire dont vous aurez besoin. Au lieu d’espérer le meilleur ou de vous confronter à des estimations complexes de la combinaison de gros et de petits fichiers de vos charges de travail et d’espérer qu’ils ne sont pas si loin du but, vous pouvez simplement regarder l’interface utilisateur Web pour voir combien d’espace est disponible. . Vos fichiers stockés occuperont la même quantité d’espace, qu’ils soient grands ou petits. Pas de «taxe sur les petits fichiers». Pas de surprises. Non plus d'acheter. Pas de surapprovisionnement.

Qumulo permet également de surveiller les performances, la capacité et l'utilisation en temps réel, même pour des milliards de fichiers. Grâce à notre analyse en temps réel, vous pouvez obtenir des informations et prévenir les problèmes avant qu'ils ne surviennent. En outre, vous pouvez planifier efficacement votre croissance future. Des analyses à la minute permettent aux administrateurs d'identifier rapidement les problèmes et de contrôler efficacement l'utilisation du stockage.

Lors de l'évaluation de solutions de stockage, assurez-vous de bien comprendre les implications pour la protection des données (AKA, les fichiers de petite taille) sur les petits fichiers. Demandez-leur s'ils reflètent les petits fichiers et si oui, combien de fois. Comprenez si vous allez acheter deux fois plus, voire trois fois plus d'espace de stockage que nécessaire.

Terminez votre cauchemar de stockage maintenant. Recherchez une solution de stockage de fichiers qui gère efficacement vos données, quelle que soit la taille de vos fichiers. Qumulo offre la transparence, la prévisibilité et les performances dont vous avez besoin pour le stockage de données de l'ère numérique moderne.

Partager avec votre réseau