C'était une nuit sombre et orageuse.
Le téléphone sonne. C'est le bureau.
Votre coeur tombe de surprise et d'horreur.
Vos systèmes sont entièrement à court de stockage…
C'est un scénario de cauchemar pour de nombreux administrateurs de système de stockage. Vous faites tout ce que vous pouvez pour comprendre vos besoins de stockage, vous achetez le stockage dont vous pensez avoir besoin - encore un peu plus (ou beaucoup plus) pour avoir une marge de manœuvre pour des scénarios imprévus - mais vous êtes toujours surpris et à court de stockage .
Gestion de petits fichiers
Une chose qui surprend souvent les administrateurs système est ce que nous appelons la «taxe sur les petits fichiers». Il s'avère que les systèmes de stockage évolutifs hérités ne font pas un très bon travail lorsqu'il s'agit de gérer de petits fichiers. Par petit, nous entendons tout ce qui est inférieur à 128 Ko. Les petits fichiers consomment deux à trois fois plus de stockage que vous attendez - c'est une taxe assez lourde s'il y en a beaucoup.
En effet, ces systèmes reposent sur une conception vieille de plusieurs décennies qui les oblige à mettre en miroir (ou double miroir, parfois même triple miroir) des fichiers sous un seuil 128KB. Non seulement la mise en miroir de fichiers de petite taille utilise un codage extrêmement inefficace, mais l’espace nécessaire pour la dupliquer est déduit de ce que le fournisseur rapporte souvent comme étant une capacité utilisable. Un précédent article de blog fournit plus de détails à ce sujet («Puis-je vraiment utiliser 100% de ma capacité? Avec Qumulo, la réponse est oui!»).
La mise en miroir est totalement inefficace car elle crée simplement deux ou trois copies complètes des données protégées qui résident sur des disques différents. Bien que cela soit efficace en termes de protection des données, il réduit de moitié la capacité de stockage disponible dans le cas de la double mise en miroir et de deux tiers dans le cas de la triple mise en miroir. À l'échelle du téraoctet, cela est incroyablement inefficace; à l'échelle du pétaoctet, il est ahurissant qu'un fournisseur vous demande d'utiliser un tiers à deux tiers de votre stockage pour la protection des données.
Il existe un moyen de mettre fin à ce cauchemar.
Protection des données au niveau du bloc vs au niveau du fichier
À grande échelle, il est inefficace de protéger les petits fichiers simplement en créant des copies. Qumulo l'a compris très tôt. Nous avons développé une approche fondamentalement différente de la protection des données, protégeant au niveau du bloc par rapport au niveau du fichier. Travailler au niveau du bloc plutôt qu'au niveau du fichier en utilisant notre codage d'effacement permet de protéger efficacement les données sans avoir à créer une copie un à un de l'intégralité du volume de données.
Opérer au niveau du bloc plutôt qu'au niveau du fichier signifie que vous ne devez pas protéger chaque fichier individuellement. Au lieu de cela, les données de bloc sont codées dans des segments partiellement redondants qui sont stockés sur un support physique distinct.
Lors de la gestion de petits fichiers, la protection au niveau des blocs offre une efficacité de stockage jusqu'à 40 % au-delà de la protection basée sur les fichiers. Vous obtenez même une augmentation de 20 % de l'efficacité sur les fichiers volumineux. En fait, vous pouvez stocker des milliards de petits fichiers aussi efficacement que de gros.
Taxe sur les petits fichiers (exemple avant et après migration)
Voici un exemple de taxe sur les petits fichiers, tirée d'un site client réel de Qumulo.
Ce client a migré environ 30 millions de petits fichiers vers un cluster Qumulo à partir d'un cluster de stockage hérité. La boîte de dialogue sur la gauche (Legacy Competitor System - Before Migration) montre la quantité d'espace que ces fichiers occupaient sur le système du fournisseur hérité, qui reflète les petits fichiers La boîte de dialogue sur la droite (Qumulo Hybrid Cloud File Storage - After Migration) indique la quantité d'espace occupée par les fichiers sur le cluster Qumulo.
Dans cet exemple concret, vous pouvez voir le résultat de la taxe sur les petits fichiers du fournisseur hérité: stocker ces fichiers consomme de l'espace utilisable par plus de trois fois le nombre d'octets de fichier utilisateur stockés! Il a fallu à 33.2TB une capacité utilisable pour stocker 9.33TB des données de fichier. Sur le cluster Qumulo, il n'a fallu que 9.49TB. Qumulo élimine la taxe sur les petits fichiers et stocke les petits fichiers aussi efficacement que les gros fichiers.
Quel impact les petits fichiers ont-ils sur le stockage des données ?
Vous vous demandez peut-être quel impact cette taxe sur les petits fichiers a sur mon stockage?
Avec les systèmes hérités, il est impossible de dire quelle quantité de stockage vous allez utiliser à moins de connaître à l'avance la taille exacte de chaque fichier que vous prévoyez d'écrire, de voir combien tombe en dessous du seuil 129KB, puis de faire le calcul pour chaque fichier. Parlez d'un cauchemar, surtout lorsque vous traitez avec des milliards de fichiers!
Par conséquent, il est impossible de savoir de combien de capacité utilisable vous disposez réellement, ni à quel moment vous en manquerez. Au lieu de cela, vous devrez sur-provisionner pour vous assurer que vous êtes couvert. Cela signifie que vous gaspillez de l'argent de deux manières : premièrement, pour la capacité « utilisable » que vous perdez à cause de la taxe sur les petits fichiers, et deuxièmement, pour la capacité supplémentaire que vous achetez.
Qumulo simplifie considérablement l'estimation de la quantité de stockage dont vous aurez besoin. Au lieu d'espérer le meilleur ou de vous débattre avec des estimations complexes du mélange de fichiers volumineux et petits dans vos charges de travail et d'espérer qu'ils ne sont pas trop éloignés, vous pouvez simplement regarder l'interface utilisateur Web pour voir combien d'espace est disponible . Vos fichiers stockés prendront la même quantité d'espace, qu'ils soient grands ou petits. Pas de « petite taxe sur les fichiers ». Pas de surprises. Pas trop d'achat. Pas de surprovisionnement.
Qumulo permet également de surveiller les performances, la capacité et l'utilisation en temps réel, même pour des milliards de fichiers. Grâce à notre analyse en temps réel, vous pouvez obtenir des informations et prévenir les problèmes avant qu'ils ne surviennent. En outre, vous pouvez planifier efficacement votre croissance future. Des analyses à la minute permettent aux administrateurs d'identifier rapidement les problèmes et de contrôler efficacement l'utilisation du stockage.
Évaluation des solutions de stockage
Quand évaluer les solutions de stockage de données, assurez-vous de bien comprendre les implications en matière de protection des données (AKA, la taxe sur les petits fichiers) sur les petits fichiers. Demandez s'ils reflètent de petits fichiers et si oui, combien de fois. Comprenez si vous allez acheter deux fois plus, voire trois fois plus de stockage que ce dont vous avez réellement besoin.
Terminez votre cauchemar de stockage maintenant. Recherchez une solution de stockage de fichiers qui gère efficacement vos données, quelle que soit la taille de vos fichiers. Qumulo offre la transparence, la prévisibilité et les performances dont vous avez besoin pour le stockage de données de l'ère numérique moderne.
