Migration vers le service de fichiers évolutif natif Azure Qumulo avec Komprise

Cet article décrit une solution qui utilise Komprise pour migrer les données de fichiers de systèmes NAS tiers vers Azure Native Qumulo (ANQ). Komprise fournit des services de migration de fichiers indépendants de la plate-forme à grande échelle dans des environnements NAS hétérogènes.

Migration vers le service de fichiers évolutif natif Azure Qumulo avec Komprise

La migration de fichiers entre différentes plateformes de stockage et architectures de systèmes de fichiers peut s'avérer complexe. Cet article décrit une solution utilisant Komprise pour migrer des données de fichiers depuis des systèmes NAS tiers vers Azure Native Qumulo (ANQ). Komprise propose des services de migration de fichiers indépendants de la plateforme, à grande échelle et dans des environnements NAS hétérogènes. Cette solution facilite la migration transparente des données entre des plateformes de stockage mixtes, garantissant des transferts de données performants et l'intégrité des données. Elle vous permet ainsi de mener à bien vos projets de migration de données depuis votre ancien NAS vers une instance ANQ.

Avantages de la migration vers ANQ avec Komprise

Architecture

La solution est déployée sur Azure avec des options de performances configurables et combine la plateforme de données de fichiers à l'échelle de l'exaoctet d'Azure Native Qumulo et Komprise, comme le montre le diagramme suivant.

Cliquez à nouveau ici pour télécharger un diagramme Visio haute résolution de la solution.

Architecture de solution

Cette solution est déployée dans un locataire client Azure dans une seule région Azure avec des ressources client, notamment une passerelle de réseau virtuel.
Komprise se distingue par ses capacités d'analyse dynamique des données, d'archivage transparent et de migration directe des données qui permettent un accès ininterrompu aux données chaudes et aux activités des utilisateurs. La technologie HyperTransfer de Komprise amplifie encore ces capacités, garantissant des transferts de données à grande vitesse qui sont cruciaux pour les migrations à grande échelle et les tâches de gestion de données.
Komprise maintient également la disponibilité et la fiabilité des données pendant une migration active en travaillant aux côtés des plates-formes de stockage pour comparer continuellement le stockage source et cible à la recherche de modifications à appliquer, ainsi qu'en incluant un mécanisme de hachage pour valider que les données ont été stockées et relues correctement lors de leur déplacement. .
La gestion avec Komprise s'effectue via Komprise Director, une console de gestion qui orchestre les activités de mouvement des données. Il fournit un contrôle centralisé, permettant aux utilisateurs de gérer, analyser, migrer et surveiller les activités sur l'ensemble du paysage de stockage du client, y compris sur un ou plusieurs sites.
Au cœur de l'architecture Komprise se trouvent les observateurs et proxys Komprise. Il s'agit de moteurs de déplacement de données qui peuvent être placés stratégiquement pour garantir des performances élevées lors des opérations de gestion et de migration des données. En règle générale, les Observers sont positionnés à proximité des systèmes de stockage existants pour un accès local rapide bénéficiant aux migrations locales. Pour la migration vers le cluster Azure ANQ, Komprise HyperTransfer exploite les proxys hébergés dans le locataire Azure pour gérer l'écriture et la validation des données localement dans Azure. Cette architecture permet un transfert de données efficace sur WAN, réduisant considérablement la latence par rapport aux outils de migration courants. Attention : les données transitent uniquement sur des réseaux sécurisés et gérés directement par le client.
L'instance ANQ est déployée dans le locataire Azure de Qumulo.
L'accès au cluster ANQ est activé via l'injection de réseau virtuel à partir d'un sous-réseau dédié dans le locataire Azure du client, qui se connecte au service ANQ du client dans le locataire Qumulo. Toutes les données sur ANQ sont accessibles uniquement via les interfaces réseau du sous-réseau délégué du client. Remarque : Qumulo n'a accès à aucune donnée sur aucune instance de service ANQ.
La technologie HyperTransfer intégrée à la suite Komprise joue un rôle essentiel dans l'accélération du processus de déplacement des données. Il optimise l'utilisation du réseau pour transférer rapidement de grands ensembles de données, réduisant ainsi considérablement le temps requis pour les migrations et les synchronisations de données. Cette efficacité est essentielle pour les organisations qui cherchent à minimiser les temps d’arrêt et à tirer rapidement parti de l’évolutivité et de la flexibilité du cloud.

Flux de travail des solutions

Un projet de migration se compose de 5 étapes :

Étape 1 : Analyser vos données

Komprise fournit des informations rapides sur vos données non structurées sur toutes les plates-formes de stockage grâce aux capacités d'analyse de plan et d'analyse approfondie. Plan Analysis donne immédiatement des résultats récapitulatifs avec des graphiques d'utilisation et les pages d'activités d'analyse qui mettent en évidence les problèmes importants du système de fichiers découverts que les clients voudront connaître avant de déplacer des données. Deep Analytics permet aux clients d'approfondir la compréhension de leurs données grâce à des capacités de requêtes personnalisées et des graphiques pour trouver des ensembles de données sélectionnés, des fichiers orphelins et bien plus encore.

La page Activité d'analyse de l'outil Komprise permet d'identifier les problèmes potentiels dès le départ, avant de déplacer les données. Les problèmes potentiels à surveiller avant de lancer la séquence de migration peuvent inclure :

Connaître les statistiques des fichiers et des répertoires et identifier tout problème d'accès restreint ou de résolution
Y a-t-il des noms de chemin et de fichier extrêmement longs, contiennent-ils des caractères invalides ?
Identifiez un nombre extrêmement important de petits fichiers, s'il existe un grand nombre de répertoires vides
Identifiez les actions potentiellement peu performantes
Sachez dès le départ s'il y a des fichiers épars ou des liens symboliques cycliques reliant des répertoires

Étape 2 : Évaluation des performances du réseau et du stockage

Les migrations n’évoluent qu’aussi vite que l’infrastructure le permet. Il est essentiel de connaître les capacités de performances combinées du réseau et des systèmes de stockage. Mesurer séparément les performances du réseau et du stockage peut ne pas révéler de limitations cachées dans les configurations de ports, le routage, la surcharge du système de fichiers, etc.

Les migrations peuvent engendrer une charge de travail atypique et très importante sur le réseau du client. Komprise est consciente de l'importance d'évaluer les performances combinées du réseau et du stockage afin d'identifier tout problème de connectivité entre le système NAS existant et l'instance ANQ avant le transfert des données.

L'outil Komprise Assessment of Customer Environment (ACE) est facile à déployer et à exécuter. L'outil simule une série de scénarios de mouvement de données entre les partages NAS existants source sur site et l'instance ANQ de destination. Il effectue un ensemble d'opérations de lecture, d'écriture et de somme de contrôle, et collecte les chiffres de performances globaux qui en résultent. Ces résultats peuvent mettre en évidence les risques potentiels en matière de performances et les goulots d'étranglement de l'infrastructure à étudier pour garantir que la topologie du réseau est prête.

Étape 3 : Migration : synchronisation initiale

Le processus de migration démarre avec Komprise capturant une analyse approfondie de l'ensemble de données global à migrer et effectuant le mouvement initial des données de l'ancien système NAS vers la cible ANQ. Cette première itération établit une base de référence fondamentale et est essentielle au transfert de données initial et substantiel, qui se produit sans perturber l'accès des utilisateurs aux données sources. Komprise exploite la technologie HyperTransfer pour garantir un processus de transfert optimisé en ajustant dynamiquement la parallélisation en fonction des ressources Observer et Proxy disponibles et de la bande passante réseau disponible.

Étape 4 : Migration : itérations incrémentielles

Dans cette phase, les algorithmes intelligents de Komprise entrent en jeu pour suivre et transférer uniquement les modifications apportées aux données sources depuis la dernière synchronisation. Cette approche est essentielle pour maintenir le stockage cible à jour avec une interruption minimale du réseau. Il reflète une meilleure compréhension de l’activité des données et garantit un processus de synchronisation plus précis et plus efficace. Considérez cette itération comme un essai pour un basculement final. Vous savez où vous en êtes grâce à la vérification complète de la comparaison des fichiers système indiquant les erreurs, la durée totale des transferts, la quantité de données déplacées et bien plus encore. Ces informations permettent de planifier le moment où planifier un basculement final et sa durée.

Étape 5 : Migration : itération finale (basculement)

Cette phase cruciale marque l'achèvement de la migration, Komprise transférant toutes les données restantes vers le stockage cible. Pour garantir une réplication exacte de la source au point de basculement, l'accès en écriture au NAS source est temporairement suspendu pour une dernière vérification du système de fichiers. Cette étape souligne l’importance d’une planification et d’une coordination approfondies pour minimiser l’impact sur les opérations.

Capacités globales

Vous trouverez ci-dessous quelques éléments inclus dans Komprise avec toutes les migrations.

Le Komprise Cloud Director supervise le déploiement et la gestion des processus de gestion des données Komprise. Cette interface de gestion unique aide les clients à gérer plusieurs opérations de migration dans l'ensemble de l'organisation. À partir d'une seule console, vous pouvez lancer des migrations, planifier des migrations pour une heure de début ultérieure, consulter un suivi d'état clair montrant la planification et le mouvement des données entre les systèmes NAS existants et ANQ, suivre la progression, collecter des rapports de progression, examiner les problèmes et planifier les basculements.
Komprise regroupe intelligemment les ressources pour répartir la charge de travail globale et assurer la redondance, améliorant ainsi le débit et l'efficacité, ce qui est essentiel pour réduire le temps nécessaire à la migration de grands ensembles de données. Komprise peut augmenter dynamiquement les ressources existantes, ainsi que les étendre, en ajoutant des observateurs et des proxys supplémentaires.
Prend en charge les transferts de données sécurisés avec le chiffrement en vol et l'utilisation de la connectivité du client entre les environnements sur site et les ressources basées sur Azure facilitées via Azure VPN Gateway ou ExpressRoute. Ceci, combiné à la technologie HyperTransfer de Komprise, garantit des transferts accélérés sécurisés et un mouvement efficace des données.
Komprise doit s'exécuter en utilisant un utilisateur Active Directory à la fois sur le système NAS existant et sur l'instance ANQ pour garantir un accès complet à tous les fichiers pour les partages SMB et pour garantir le transfert des autorisations NTFS et ACL.
Si le système NAS source inclut des données SMB et NFS, il est possible de migrer les ensembles de données contenant des permissions NTFS et POSIX. Lors de la gestion de systèmes NAS anciens contenant des données SMB et NFS, Komprise peut gérer les migrations tout en préservant les permissions NTFS et POSIX.
Les permissions interprotocoles, lorsqu'un même ensemble de données est partagé via les permissions POSIX et ACL, peuvent nécessiter une étape supplémentaire pour une migration réussie. Pour la synchronisation initiale, l'approche NFS en premier (et la migration de la structure des permissions POSIX des données) est généralement plus rapide grâce à la faible surcharge du protocole NFS. Par la suite, une tâche de migration supplémentaire peut être créée pour appliquer les permissions NTFS aux mêmes données.
Komprise simplifie la sélection des répertoires sources des systèmes NAS existants pour la migration vers ANQ, en excluant intelligemment les répertoires spécifiques au système tels que .instantané or .instantanés pour assurer un transfert propre.
Komprise utilise la parallélisation pour accélérer le processus de migration, en créant plusieurs flux de données simultanés. Ce processus est optimisé par la technologie HyperTransfer, qui s'ajuste dynamiquement pour maximiser l'utilisation de la bande passante disponible et minimiser les fenêtres de migration.
Komprise garantit l'intégrité des données tout au long du processus de migration, en utilisant des algorithmes de hachage appropriés pour vérifier les données sans sacrifier les performances.

Composants

L'architecture de la solution comprend les composants suivants :

Service de fichiers évolutif natif Azure Qumulo cluster pour fournir un stockage de données consolidé pour tout le contenu créé à l'aide de la solution
Directeur Cloud Komprise pour migrer les données du stockage local vers ANQ.
- Observateurs
- Serveurs proxy – composés de services proxy Komprise exécutés sur un serveur Windows avec (processeur à 16 cœurs minimum, 32 Go de mémoire et réseau 10 GbE)
Azure ExpressRoute et/ou Passerelle VPN Azure
Injection de réseau virtuel Azure
Réseau virtuel Azure
NAS hérité (par exemple, Dell EMC Isilon / PowerScale sur site)

Points d’Usage à Anticiper

La migration de fichiers vers Azure Native Qumulo Scalable File Service avec Komprise doit inclure les considérations suivantes dans leurs processus de planification et de conception.

Cas d'utilisation potentiels

Migration de données: La migration vers le cloud est le processus de déplacement d'applications et de données depuis des systèmes sur site vers un cloud public. Cependant, les options NAS existantes sur le marché ont des fonctionnalités ou une évolutivité limitées sur le cloud public. ANQ offre des fonctionnalités et une évolutivité améliorées sur Azure. Komprise facilite la migration haute performance de vos données de fichiers vers ANQ tout en garantissant l'intégrité des données.
Reprise après sinistre: ANQ peut être utilisé comme site secondaire de reprise après sinistre, permettant aux organisations de répliquer leurs données vers le cloud. En cas de sinistre affectant le site principal sur site, les organisations peuvent basculer vers les données répliquées sur ANQ et poursuivre leurs opérations avec un minimum de perturbations. Komprise détecte rapidement les fichiers à répliquer à partir d'un ancien NAS source.
Hiérarchisation : Les capacités de hiérarchisation de Komprise offrent une solution transparente pour gérer et optimiser le stockage de fichiers en analysant et en déplaçant intelligemment les données inactives ou froides vers ANQ, en tirant parti de la technologie Komprise Transparent Move (TMT). Cette technologie garantit que les données sont déplacées sans perturber l'accès des utilisateurs, en conservant l'accès natif aux fichiers et en permettant un accès direct dans ANQ. Sa valeur unique réside dans sa capacité à réduire les coûts de stockage et de sauvegarde, à simplifier la gestion des données grâce à des tableaux de bord intuitifs et à l'intégration d'API, et à fournir un chemin flexible et sans verrouillage vers le cloud, ce qui le rend très utile pour les clients souhaitant gérer efficacement la croissance des données. et les coûts de stockage dans le cloud.

Évolutivité et performances

Lors de la planification d'une solution de migration de données à l'aide de Qumulo et Komprise, les architectes d'entreprise et autres parties prenantes peuvent souhaiter inclure les éléments suivants dans la solution :

Capacité et croissance – ANQ évolue facilement à la demande, vous permettant d'ajouter autant de capacité que nécessaire simplement en créant ou en migrant des données.
Komprise vous permet de migrer des fichiers, des dossiers et des données ACL d'un ancien NAS vers ANQ avec une automatisation complète, un équilibrage de charge et des rapports aux niveaux macro et micro. Nous pouvons faire évoluer la puissance de nos outils grâce aux Komprise Observers et aux serveurs proxy multi-streaming et multi-thread.
Débit – ANQ vous permet d'ajuster le débit à la demande par incréments de 1 Go/s pour garantir la disponibilité du débit dont vous avez besoin à tout moment.
Avec Komprise, les taux de transfert entre le stockage source et cible peuvent approcher la vitesse du réseau de connexion de bout en bout. Les performances peuvent être affectées par le type et la disposition des données : un grand nombre de petits fichiers ou un nombre élevé de répertoires dans un ensemble de données donné peuvent ralentir le débit global en augmentant la charge sur les machines proxy. En outre, l'utilisation maximale de la technologie HyperTransfer de Komprise pour accélérer les transferts de données.

Sécurité

Le service de fichiers évolutif natif Azure Qumulo se connecte à votre environnement Azure à l’aide de l’injection de réseau virtuel, qui est entièrement routable, sécurisée et visible uniquement par vos ressources. Aucune coordination de l'espace IP entre votre environnement et le cluster ANQ n'est requise.

Des précautions doivent être prises lors de la conception et de la mise en œuvre pour garantir que la sécurité de la solution est conforme aux meilleures pratiques du secteur, aux politiques internes de l'entreprise et à toutes les exigences légales/réglementaires applicables.

Pour tous les autres aspects de la solution, les clients sont responsables de la planification, de la mise en œuvre et du maintien de la sécurité de la solution afin de satisfaire à toutes les exigences légales et réglementaires applicables à leur secteur et à leur emplacement.

Optimisation des Coûts

L'optimisation des coûts fait référence à la minimisation des dépenses inutiles tout en maximisant la valeur des coûts réels encourus par la solution. Pour plus d'informations, visitez le Présentation du pilier Optimisation des coûts .

Le modèle de paiement à l'utilisation d'Azure vous permet d'optimiser les coûts en faisant évoluer les ressources pour utiliser la capacité en cas de besoin. Cela vous aide à gérer les coûts efficacement, sans surprovisionner les ressources.
Le coût de Qumulo dépend de la quantité de données sur le service de fichiers évolutif natif Azure Qumulo et du niveau de performances. Pour plus de détails, voir Tarification des services de fichiers évolutifs Azure Native Qumulo.
L'architecture de Komprise est conçue pour être évolutive et pour fournir des flux de données parallélisés. Lorsque vous avez besoin de plus de puissance et de performances supérieures, il vous suffit d'ajouter un autre Observer ou Proxy pour répondre à vos besoins et de considérer uniquement les coûts en ressources des VM.

Disponibilité

Différentes organisations peuvent avoir des exigences différentes en matière de disponibilité et de récupération, même pour la même application. Le terme disponibilité fait référence à la capacité de la solution à fournir en permanence le service au niveau de performance pour lequel elle a été conçue.

Disponibilité des données et du stockage

Le déploiement ANQ inclut une redondance intégrée au niveau des données pour garantir la disponibilité des données en cas de panne du matériel sous-jacent. Pour protéger les données contre la suppression accidentelle, la corruption, les logiciels malveillants ou toute autre cyberattaque, ANQ inclut la possibilité de prendre des instantanés à n'importe quel niveau du système de fichiers pour créer des copies ponctuelles en lecture seule de vos données.

ANQ prend en charge la réplication des données vers une instance de stockage Qumulo secondaire, qui peut être hébergée dans Azure, dans un autre cloud ou sur site. ANQ est compatible avec les solutions de sauvegarde basées sur des fichiers pour permettre la protection des données externes.

Stabilité et continuité du service

En fonction de la portée et du caractère critique des données migrées, une approche progressive peut être appropriée dans certaines circonstances. Plutôt que de migrer l'intégralité du contenu de votre stockage existant en une seule opération, une approche progressive impliquerait de migrer un flux de travail à la fois, en utilisant des ensembles de données plus petits et moins critiques pour développer et finaliser le processus avant de passer à des données plus volumineuses et plus importantes.

Un avantage supplémentaire de cette approche est que les problèmes pouvant survenir lors d’une opération de migration sont limités à un seul flux de travail ou ensemble de données.