par Ferhat Kaddour, vice-président des ventes et des alliances chez Atempo

Étonnamment, lors de l'achat et de la mise en œuvre d'une nouvelle technologie de stockage, la phase de migration des données n'est pas toujours bien pensée. Cela peut souvent conduire à des problèmes et au mécontentement des utilisateurs.

Pendant des années, des outils gratuits tels que robocopy ont suffi à gérer les migrations. Cependant, il s’agit d’un environnement beaucoup plus complexe, avec les exigences actuelles en matière de migration de milliards de fichiers de toutes tailles, de millions de répertoires, de pétaoctets de données et de taux de changement de données élevés. Désormais, les intégrateurs de systèmes et les utilisateurs finaux doivent planifier soigneusement leurs migrations.

Comprendre les données source, créer un plan visant à réduire le temps de migration, évaluer les performances de stockage du compte et les capacités réseau, utiliser une solution capable d'optimiser les performances de lecture / écriture et veiller à ce que la commutation soit effectuée correctement tout en minimisant les temps d'arrêt.

Qumulo et Atempo ont uni leurs forces pour offrir aux utilisateurs finaux des solutions de migration clés en main leur permettant d'atténuer les défis en exploitant les nouvelles technologies et le transfert de données haute performance.

Voyons pourquoi Miria d'Atempo pour la plate-forme de sauvegarde et de migration est un élément clé de la gestion de bout en bout de Qumulo Service de migration de données.

Il n'y a pas deux projets de migration de données identiques, mais chacun nécessite des travaux préparatoires sérieux, notamment une évaluation de la portée, des définitions de chronologie, la fourniture de logiciels et de matériel, ainsi que l'octroi de licences. Lorsque la migration est en cours, vous avez également besoin de mises à jour quotidiennes du statut et de la surveillance jusqu'au basculement final de l'ancien au nouveau stockage. Atempo s'associe au succès client de Qumulo équipe à atteignez cette transition avec une intégrité de données garantie et un temps d’immobilisation de stockage hérité minimal.

Pour ce faire, nous tirons parti des services professionnels qualifiés de Qumulo et d'Atempo, en association avec la technologie Miria Data Movement d'Atempo, qui nous permet d'optimiser les opérations de lecture sur le stockage hérité tout en écrivant à pleine vitesse sur la cible Qumulo.

Évolutivité et performance sont deux facteurs clés de succès:

Évolutivité. Tout comme les clusters de stockage Qumulo peuvent s’adapter à des centaines de nœuds, le logiciel de transfert de données d’Atempo évolue également en ajoutant davantage de machines Data Mover afin d’accroître la rapidité du transfert de données global en parallélisant les flux de données. Chaque Data Mover peut déplacer plusieurs Go / s dans un environnement hautement parallélisé et multithread. En fait, un pool de Data Movers fournit facilement plus de débit que la plupart des réseaux ne peuvent en gérer.

performance. Chaque dispositif physique Atempo Data Mover veille à ce qu'il n'y ait pas de goulot d'étranglement sur les nœuds du cluster source ni de ralentissement de la migration réelle des données ou des nœuds de destination. L'équilibrage de charge efficace orchestre l'ensemble du processus, de la source à la cible. Tout goulot d'étranglement dans un débit de migration de données d'un pétaoctet peut ajouter des semaines à un travail. Naturellement, les interruptions de production de stockage héritées ne sont pas une option lorsque les migrations peuvent durer plusieurs semaines. Équilibrer les flux de données, optimiser la bande passante disponible du réseau et même limiter les E / S de migration pendant les heures de bureau font partie d'un flux de travail de migration Atempo typique.

Le diagramme suivant illustre un flux de travail pour la migration vers le stockage de fichiers de Qumulo. Dans ce cas, le client avait presque un milliard de fichiers 1 à déplacer pour un volume de données 500.

Qumulo et Atempo n'utilisent pas le protocole NDMP (Network Data Management Protocol) pour le transfert de données. Ce protocole ne nous permet plus de traiter les volumes impliqués dans la plupart des projets de migration. Au-dessus de près de 100 millions de fichiers et / ou 100 TB de données, NDMP atteint son plafond opérationnel. De nos jours, le passage significatif vers des volumes plus importants de données de fichiers non structurés comprenant beaucoup plus de fichiers plus petits est mal adapté à la technologie NDMP, conçue principalement pour les supports sur bande.

Le travail de migration de données initial doit être suivi d'un certain nombre de synchronisations incrémentielles avant le basculement final. C’est pourquoi il n’est absolument pas possible de ré-analyser l’ensemble du système de fichiers (ou «la navigation dans les arbres») pour rechercher les modifications. Qumulo et Atempo combinent de puissantes fonctionnalités de gestion des métadonnées qui ne signalent que les objets nouveaux, modifiés, modifiés ou supprimés. Ces objets font partie de chaque synchronisation incrémentielle successive jusqu'à la commutation du stockage.

Le serveur Miria contrôle tous les E / S et gère les tâches, processus et composants de l’ensemble de l’infrastructure Miria. Une fois qu'une tâche de migration planifiée est déclenchée, les événements suivants se produisent:

  • Le serveur Miria mappe la demande avec l'infrastructure Miria Data Mover et définit la charge de travail requise.
  • Chaque moteur de données crée plusieurs threads avec le stockage à migrer. Ils commencent par collecter et déplacer les fichiers et les métadonnées et ACL associées, ainsi que les détails de codage de fichier, les droits des utilisateurs, les groupes, les droits de système de fichiers partagés avancés et les liens symboliques. Le Data Mover charge de manière fiable les données dans le stockage cible.
  • La base de données Miria stocke des métadonnées et des détails sur les travaux de migration. Miria effectue des contrôles constants au sein des couches de collecte et de stockage de données pour assurer une intégrité des données fiable.

FastScan d'Atempo collecte et traite rapidement la liste des fichiers nouveaux, modifiés ou supprimés, ce qui réduit la charge sur le stockage source et évite une analyse complète. Cette vérification de la liste de fichiers est importante dans le cas d’une migration qui s’arrête pendant une exécution de synchronisation après avoir déjà migré certains fichiers n’ayant pas besoin de migrer à nouveau. FastScan améliore le processus de migration incrémentielle et garantit que les redémarrages ne se font jamais à partir de zéro.

Enfin, une fois la migration des données terminée, vous pouvez choisir de continuer à utiliser les composants matériels et logiciels utilisés pour la migration. Laissez le kit Atempo où il se trouve et utilisez-le pour sauvegarder, archiver et synchroniser (ou «migrer de manière permanente») vos données de stockage Qumulo vers une autre destination (stockage secondaire, bande, cloud…).

Fort de notre partenariat technologique fort, FastScan d'Atempo est également disponible lorsque Qumulo est le stockage source permettant de fournir un système de protection des données puissant avec une gestion incrémentielle permanente qui surpasse les solutions de sauvegarde traditionnelles basées sur NDMP en termes d'efficacité dans la gestion de milliards de petits fichiers avec un taux de modification élevé. et l'évolutivité dans les flux de travail sur site ou dans le cloud.

Découvrez le directeur technique EMEA de Qumulo, Stefan Radtke récent blog.

Plus à ce sujet dans un autre post, restez à l'écoute!

Partager avec votre réseau

OBTENIR UNE DEMO