Table des matières

Avantages de la migration vers ANQ avec Komprise

Architecture de solution
Flux de travail des solutions
Composantes

Considérations

Cas d'utilisation potentiels
Évolutivité et performances
Sécurité
Optimisation des coûts
Disponibilité
- Disponibilité des données et du stockage
- Stabilité et continuité du service

Migration vers le service de fichiers évolutif natif Azure Qumulo avec Komprise

La migration de fichiers entre différentes plates-formes de stockage et architectures de systèmes de fichiers peut être un processus complexe. Cet article décrit une solution qui utilise Komprise pour migrer les données de fichiers de systèmes NAS tiers vers Azure Native Qumulo (ANQ). Komprise fournit des services de migration de fichiers indépendants de la plate-forme à grande échelle dans des environnements NAS hétérogènes. Cette solution facilite la migration transparente des données de fichiers entre des plates-formes de stockage mixtes, offrant un mouvement de données hautes performances, garantissant l'intégrité des données et vous permettant de mener à bien vos projets de migration de données de votre NAS existant vers une instance ANQ.

Avantages de la migration vers ANQ avec Komprise

Évolutivité	Une seule instance ANQ peut évoluer jusqu'à une taille en exaoctets et au-delà dans un seul espace de noms. Komprise est conçu pour un mouvement de données hautes performances à une échelle illimitée, simplifiant le processus de migration de milliards de fichiers de n'importe quel système NAS existant vers ANQ. Les capacités d'analyse des données, de migration intelligente des données, de hiérarchisation des données et d'archivage de Komprise sont adaptées aux opérations à grande échelle, ce qui les rend idéales pour la stratégie cloud de toute organisation.
Rapport coût-efficacité	Le coût total de possession global d'ANQ est comparable à celui des services de fichiers sur site, même à grande échelle. Les clients ne paient que pour la capacité et le débit qu'ils utilisent pendant qu'ils l'utilisent. Les stratégies intelligentes de migration des données de Komprise permettent de réaliser des économies de plus de 70 % en plaçant correctement les données dans le stockage de fichiers, garantissant ainsi des migrations rentables. Grâce à ses fonctionnalités de parallélisation, Komprise for Migration rend la migration de fichiers plus fluide et plus rapide, éliminant les longs cycles de migration et optimisant vos coûts. L'ajout ou la suppression de proxys et d'observateurs n'engendre pas de coûts supplémentaires pour les licences Komprise.
Performance	ANQ surpasse les autres plates-formes de fichiers basées sur le cloud, offrant un débit plus élevé et une latence plus faible pour la plupart des charges de travail. ANQ prend également en charge temporairement un débit accru si nécessaire pour le traitement en rafale. Komprise offre des vitesses de migration NFS et SMB plus rapides, surpassant considérablement les outils et méthodes conventionnels. Grâce à la technologie Hypertransfer en instance de brevet de Komprise, les données sont migrées 25 à 27 fois plus rapidement, garantissant ainsi des performances élevées même lors de migrations étendues.
Global Reach	ANQ peut être déployé dans une ou plusieurs régions Azure dans le monde. Les Komprise Observers et Proxy peuvent être déployés dans votre centre de données et dans la même région Azure que votre ANQ pour de meilleures performances.
Sécurité et conformité	Komprise garantit que toutes les autorisations de fichiers et contrôles d'accès sont inclus pendant la migration, préservant ainsi l'intégrité et la sécurité des données. La chaîne de traçabilité et les rapports de somme de contrôle MD5 au niveau du fichier font partie intégrante de l'approche de Komprise et sont essentiels pour les secteurs réglementés.
Simplicité de gestion	Komprise permet des analyses complètes avant la migration, facilitant la planification en comprenant les données par âge, taille, utilisation, coûts, propriété, et aide à identifier les problèmes potentiels avant de commencer une migration, contribuant ainsi à garantir une migration rapide et réussie. Pour les migrations Cloud et WAN, Komprise inclut une évaluation non intrusive de l'environnement réseau, aidant les clients à identifier les goulots d'étranglement potentiels, les problèmes de routage et d'autres problèmes qui peuvent être cachés jusqu'à ce que la lourde charge d'une migration se produise. Cette évaluation avant de commencer à déplacer les données permet de garantir une migration fluide.

Architecture

La solution est déployée sur Azure avec des options de performances configurables et combine la plateforme de données de fichiers à l'échelle de l'exaoctet d'Azure Native Qumulo et Komprise, comme le montre le diagramme suivant.

Cliquez ici pour télécharger un diagramme Visio haute résolution de la solution.

Architecture de solution

Cette solution est déployée dans un locataire client Azure dans une seule région Azure avec des ressources client, notamment une passerelle de réseau virtuel.

Komprise se distingue par ses capacités d'analyse dynamique des données, d'archivage transparent et de migration directe des données qui permettent un accès ininterrompu aux données chaudes et aux activités des utilisateurs. La technologie HyperTransfer de Komprise amplifie encore ces capacités, garantissant des transferts de données à grande vitesse qui sont cruciaux pour les migrations à grande échelle et les tâches de gestion de données.

Komprise maintient également la disponibilité et la fiabilité des données pendant une migration active en travaillant aux côtés des plates-formes de stockage pour comparer continuellement le stockage source et cible à la recherche de modifications à appliquer, ainsi qu'en incluant un mécanisme de hachage pour valider que les données ont été stockées et relues correctement lors de leur déplacement. .

La gestion avec Komprise s'effectue via Komprise Director, une console de gestion qui orchestre les activités de mouvement des données. Il fournit un contrôle centralisé, permettant aux utilisateurs de gérer, analyser, migrer et surveiller les activités sur l'ensemble du paysage de stockage du client, y compris sur un ou plusieurs sites.

Au cœur de l'architecture Komprise se trouvent les observateurs et proxys Komprise. Il s'agit de moteurs de déplacement de données qui peuvent être placés stratégiquement pour garantir des performances élevées lors des opérations de gestion et de migration des données. En règle générale, les Observers sont positionnés à proximité des systèmes de stockage existants pour un accès local rapide bénéficiant aux migrations locales. Pour la migration vers le cluster Azure ANQ, Komprise HyperTransfer exploite les proxys hébergés dans le locataire Azure pour gérer l'écriture et la validation des données localement dans Azure. Cette architecture permet un transfert de données efficace sur WAN, réduisant considérablement la latence par rapport aux outils de migration courants. Attention : les données transitent uniquement sur des réseaux sécurisés et gérés directement par le client.

L'instance ANQ est déployée dans le locataire Azure de Qumulo.

L'accès au cluster ANQ est activé via l'injection de réseau virtuel à partir d'un sous-réseau dédié dans le locataire Azure du client, qui se connecte au service ANQ du client dans le locataire Qumulo. Toutes les données sur ANQ sont accessibles uniquement via les interfaces réseau du sous-réseau délégué du client. Remarque : Qumulo n'a accès à aucune donnée sur aucune instance de service ANQ.

La technologie HyperTransfer intégrée à la suite Komprise joue un rôle essentiel dans l'accélération du processus de déplacement des données. Il optimise l'utilisation du réseau pour transférer rapidement de grands ensembles de données, réduisant ainsi considérablement le temps requis pour les migrations et les synchronisations de données. Cette efficacité est essentielle pour les organisations qui cherchent à minimiser les temps d’arrêt et à tirer rapidement parti de l’évolutivité et de la flexibilité du cloud.

Flux de travail des solutions

Un projet de migration se compose de 5 étapes :

Étape 1 : Analyser vos données

Komprise fournit des informations rapides sur vos données non structurées sur toutes les plates-formes de stockage grâce aux capacités d'analyse de plan et d'analyse approfondie. Plan Analysis donne immédiatement des résultats récapitulatifs avec des graphiques d'utilisation et les pages d'activités d'analyse qui mettent en évidence les problèmes importants du système de fichiers découverts que les clients voudront connaître avant de déplacer des données. Deep Analytics permet aux clients d'approfondir la compréhension de leurs données grâce à des capacités de requêtes personnalisées et des graphiques pour trouver des ensembles de données sélectionnés, des fichiers orphelins et bien plus encore.

La page Activité d'analyse de l'outil Komprise permet d'identifier les problèmes potentiels dès le départ, avant de déplacer les données. Les problèmes potentiels à surveiller avant de lancer la séquence de migration peuvent inclure :

Connaître les statistiques des fichiers et des répertoires et identifier tout problème d'accès restreint ou de résolution
Y a-t-il des noms de chemin et de fichier extrêmement longs, contiennent-ils des caractères invalides ?
Identifiez un nombre extrêmement important de petits fichiers, s'il existe un grand nombre de répertoires vides
Identifiez les actions potentiellement peu performantes
Sachez dès le départ s'il y a des fichiers épars ou des liens symboliques cycliques reliant des répertoires

Étape 2 : Évaluation des performances du réseau et du stockage

Les migrations n’évoluent qu’aussi vite que l’infrastructure le permet. Il est essentiel de connaître les capacités de performances combinées du réseau et des systèmes de stockage. Mesurer séparément les performances du réseau et du stockage peut ne pas révéler de limitations cachées dans les configurations de ports, le routage, la surcharge du système de fichiers, etc.

Les migrations peuvent imposer une charge de travail atypique et très lourde sur le réseau du client. Komprise connaît l'importance d'évaluer les performances combinées du réseau et du stockage pour identifier tout problème de connectivité entre l'ancien système NAS et l'instance ANQ avant de déplacer les données.

L'outil Komprise Assessment of Customer Environment (ACE) est facile à déployer et à exécuter. L'outil simule une série de scénarios de mouvement de données entre les partages NAS existants source sur site et l'instance ANQ de destination. Il effectue un ensemble d'opérations de lecture, d'écriture et de somme de contrôle, et collecte les chiffres de performances globaux qui en résultent. Ces résultats peuvent mettre en évidence les risques potentiels en matière de performances et les goulots d'étranglement de l'infrastructure à étudier pour garantir que la topologie du réseau est prête.

Étape 3 : Migration : synchronisation initiale

Le processus de migration démarre avec Komprise capturant une analyse approfondie de l'ensemble de données global à migrer et effectuant le mouvement initial des données de l'ancien système NAS vers la cible ANQ. Cette première itération établit une base de référence fondamentale et est essentielle au transfert de données initial et substantiel, qui se produit sans perturber l'accès des utilisateurs aux données sources. Komprise exploite la technologie HyperTransfer pour garantir un processus de transfert optimisé en ajustant dynamiquement la parallélisation en fonction des ressources Observer et Proxy disponibles et de la bande passante réseau disponible.

Étape 4 : Migration : itérations incrémentielles

Dans cette phase, les algorithmes intelligents de Komprise entrent en jeu pour suivre et transférer uniquement les modifications apportées aux données sources depuis la dernière synchronisation. Cette approche est essentielle pour maintenir le stockage cible à jour avec une interruption minimale du réseau. Il reflète une meilleure compréhension de l’activité des données et garantit un processus de synchronisation plus précis et plus efficace. Considérez cette itération comme un essai pour un basculement final. Vous savez où vous en êtes grâce à la vérification complète de la comparaison des fichiers système indiquant les erreurs, la durée totale des transferts, la quantité de données déplacées et bien plus encore. Ces informations permettent de planifier le moment où planifier un basculement final et sa durée.

Étape 5 : Migration : itération finale (basculement)

Cette phase cruciale marque l'achèvement de la migration, Komprise transférant toutes les données restantes vers le stockage cible. Pour garantir une réplication exacte de la source au point de basculement, l'accès en écriture au NAS source est temporairement suspendu pour une dernière vérification du système de fichiers. Cette étape souligne l’importance d’une planification et d’une coordination approfondies pour minimiser l’impact sur les opérations.

Capacités globales

Vous trouverez ci-dessous quelques éléments inclus dans Komprise avec toutes les migrations.

Le Komprise Cloud Director supervise le déploiement et la gestion des processus de gestion des données Komprise. Cette interface de gestion unique aide les clients à gérer plusieurs opérations de migration dans l'ensemble de l'organisation. À partir d'une seule console, vous pouvez lancer des migrations, planifier des migrations pour une heure de début ultérieure, consulter un suivi d'état clair montrant la planification et le mouvement des données entre les systèmes NAS existants et ANQ, suivre la progression, collecter des rapports de progression, examiner les problèmes et planifier les basculements.
Komprise regroupe intelligemment les ressources pour répartir la charge de travail globale et assurer la redondance, améliorant ainsi le débit et l'efficacité, ce qui est essentiel pour réduire le temps nécessaire à la migration de grands ensembles de données. Komprise peut augmenter dynamiquement les ressources existantes, ainsi que les étendre, en ajoutant des observateurs et des proxys supplémentaires.
Prend en charge les transferts de données sécurisés avec le chiffrement en vol et l'utilisation de la connectivité du client entre les environnements sur site et les ressources basées sur Azure facilitées via Azure VPN Gateway ou ExpressRoute. Ceci, combiné à la technologie HyperTransfer de Komprise, garantit des transferts accélérés sécurisés et un mouvement efficace des données.
Komprise doit s'exécuter en utilisant un utilisateur Active Directory à la fois sur le système NAS existant et sur l'instance ANQ pour garantir un accès complet à tous les fichiers pour les partages SMB et pour garantir le transfert des autorisations NTFS et ACL.
Si le système NAS source inclut à la fois des données SMB et NFS, il est possible de migrer des ensembles de données incluant des autorisations NTFS et POSIX. Lors de la gestion de systèmes NAS existants contenant à la fois des données SMB et NFS, Komprise peut gérer les migrations tout en préservant les autorisations NTFS et POSIX.
Les autorisations inter-protocoles, dans lesquelles un seul ensemble de données est partagé via les autorisations POSIX et ACL, peuvent nécessiter une étape supplémentaire pour réussir la migration. Pour la synchronisation initiale, l'approche NFS-first (et la migration de la structure d'autorisations POSIX des données) est généralement la méthode la plus rapide en raison de la moindre surcharge du protocole NFS. Par la suite, une tâche de migration supplémentaire peut être créée pour appliquer les autorisations NTFS aux mêmes données.
Komprise simplifie la sélection des répertoires sources des systèmes NAS existants pour la migration vers ANQ, en excluant intelligemment les répertoires spécifiques au système tels que .instantané or .instantanés pour assurer un transfert propre.
Komprise utilise la parallélisation pour accélérer le processus de migration, en créant plusieurs flux de données simultanés. Ce processus est optimisé par la technologie HyperTransfer, qui s'ajuste dynamiquement pour maximiser l'utilisation de la bande passante disponible et minimiser les fenêtres de migration.
Komprise garantit l'intégrité des données tout au long du processus de migration, en utilisant des algorithmes de hachage appropriés pour vérifier les données sans sacrifier les performances.

Composantes

L'architecture de la solution comprend les composants suivants :

Service de fichiers évolutif natif Azure Qumulo cluster pour fournir un stockage de données consolidé pour tout le contenu créé à l'aide de la solution

Directeur Cloud Komprise pour migrer les données du stockage local vers ANQ.
- observateurs
- Serveurs proxy – composés de services proxy Komprise exécutés sur Windows Server avec (processeur minimum 16 cœurs, 32 Go de mémoire et réseau 10 GbE)
Azure ExpressRoute (facultatif) Passerelle VPN Azure
Injection de réseau virtuel Azure
Réseau virtuel Azure
NAS hérité (par exemple, Dell EMC Isilon / PowerScale sur site)

Considérations

La migration de fichiers vers Azure Native Qumulo Scalable File Service avec Komprise doit inclure les considérations suivantes dans leurs processus de planification et de conception.

Cas d'utilisation potentiels

Migration de données: La migration vers le cloud est le processus de déplacement d'applications et de données depuis des systèmes sur site vers un cloud public. Cependant, les options NAS existantes sur le marché ont des fonctionnalités ou une évolutivité limitées sur le cloud public. ANQ offre des fonctionnalités et une évolutivité améliorées sur Azure. Komprise facilite la migration haute performance de vos données de fichiers vers ANQ tout en garantissant l'intégrité des données.
Reprise après sinistre: ANQ peut être utilisé comme site secondaire de reprise après sinistre, permettant aux organisations de répliquer leurs données vers le cloud. En cas de sinistre affectant le site principal sur site, les organisations peuvent basculer vers les données répliquées sur ANQ et poursuivre leurs opérations avec un minimum de perturbations. Komprise détecte rapidement les fichiers à répliquer à partir d'un ancien NAS source.
Hiérarchisation : Les capacités de hiérarchisation de Komprise offrent une solution transparente pour gérer et optimiser le stockage de fichiers en analysant et en déplaçant intelligemment les données inactives ou froides vers ANQ, en tirant parti de la technologie Komprise Transparent Move (TMT). Cette technologie garantit que les données sont déplacées sans perturber l'accès des utilisateurs, en conservant l'accès natif aux fichiers et en permettant un accès direct dans ANQ. Sa valeur unique réside dans sa capacité à réduire les coûts de stockage et de sauvegarde, à simplifier la gestion des données grâce à des tableaux de bord intuitifs et à l'intégration d'API, et à fournir un chemin flexible et sans verrouillage vers le cloud, ce qui le rend très utile pour les clients souhaitant gérer efficacement la croissance des données. et les coûts de stockage dans le cloud.

Évolutivité et performances

Lors de la planification d'une solution de migration de données à l'aide de Qumulo et Komprise, les architectes d'entreprise et autres parties prenantes peuvent souhaiter inclure les éléments suivants dans la solution :

Capacité et croissance – ANQ évolue facilement à la demande, vous permettant d'ajouter autant de capacité que nécessaire simplement en créant ou en migrant des données.
Komprise vous permet de migrer des fichiers, des dossiers et des données ACL d'un ancien NAS vers ANQ avec une automatisation complète, un équilibrage de charge et des rapports aux niveaux macro et micro. Nous pouvons faire évoluer la puissance de nos outils grâce aux Komprise Observers et aux serveurs proxy multi-streaming et multi-thread.
Débit – ANQ vous permet d'ajuster le débit à la demande par incréments de 1 Go/s pour garantir la disponibilité du débit dont vous avez besoin à tout moment.
Avec Komprise, les taux de transfert entre le stockage source et cible peuvent approcher la vitesse du réseau de connexion de bout en bout. Les performances peuvent être affectées par le type et la disposition des données : un grand nombre de petits fichiers ou un nombre élevé de répertoires dans un ensemble de données donné peuvent ralentir le débit global en augmentant la charge sur les machines proxy. En outre, l'utilisation maximale de la technologie HyperTransfer de Komprise pour accélérer les transferts de données.

Sécurité

Le service de fichiers évolutif natif Azure Qumulo se connecte à votre environnement Azure à l’aide de l’injection de réseau virtuel, qui est entièrement routable, sécurisée et visible uniquement par vos ressources. Aucune coordination de l'espace IP entre votre environnement et le cluster ANQ n'est requise.

Des précautions doivent être prises lors de la conception et de la mise en œuvre pour garantir que la sécurité de la solution est conforme aux meilleures pratiques du secteur, aux politiques internes de l'entreprise et à toutes les exigences légales/réglementaires applicables.

Pour tous les autres aspects de la solution, les clients sont responsables de la planification, de la mise en œuvre et du maintien de la sécurité de la solution afin de satisfaire à toutes les exigences légales et réglementaires applicables à leur secteur et à leur emplacement.

Optimisation des coûts

L'optimisation des coûts fait référence à la minimisation des dépenses inutiles tout en maximisant la valeur des coûts réels encourus par la solution. Pour plus d'informations, visitez le Présentation du pilier Optimisation des coûts .

Le modèle de paiement à l'utilisation d'Azure vous permet d'optimiser les coûts en faisant évoluer les ressources pour utiliser la capacité en cas de besoin. Cela vous aide à gérer les coûts efficacement, sans surprovisionner les ressources.
Le coût de Qumulo dépend de la quantité de données sur le service de fichiers évolutif natif Azure Qumulo et du niveau de performances. Pour plus de détails, voir Tarification des services de fichiers évolutifs Azure Native Qumulo.
L'architecture de Komprise est conçue pour être évolutive et pour fournir des flux de données parallélisés. Lorsque vous avez besoin de plus de puissance et de performances supérieures, il vous suffit d'ajouter un autre Observer ou Proxy pour répondre à vos besoins et de considérer uniquement les coûts en ressources des VM.

Disponibilité

Différentes organisations peuvent avoir des exigences différentes en matière de disponibilité et de récupération, même pour la même application. Le terme disponibilité fait référence à la capacité de la solution à fournir en permanence le service au niveau de performance pour lequel elle a été conçue.

Disponibilité des données et du stockage

Le déploiement ANQ inclut une redondance intégrée au niveau des données pour garantir la disponibilité des données en cas de panne du matériel sous-jacent. Pour protéger les données contre la suppression accidentelle, la corruption, les logiciels malveillants ou toute autre cyberattaque, ANQ inclut la possibilité de prendre des instantanés à n'importe quel niveau du système de fichiers pour créer des copies ponctuelles en lecture seule de vos données.

ANQ prend en charge la réplication des données vers une instance de stockage Qumulo secondaire, qui peut être hébergée dans Azure, dans un autre cloud ou sur site. ANQ est compatible avec les solutions de sauvegarde basées sur des fichiers pour permettre la protection des données externes.

Stabilité et continuité du service

En fonction de la portée et du caractère critique des données migrées, une approche progressive peut être appropriée dans certaines circonstances. Plutôt que de migrer l'intégralité du contenu de votre stockage existant en une seule opération, une approche progressive impliquerait de migrer un flux de travail à la fois, en utilisant des ensembles de données plus petits et moins critiques pour développer et finaliser le processus avant de passer à des données plus volumineuses et plus importantes.

Un avantage supplémentaire de cette approche est que les problèmes pouvant survenir lors d’une opération de migration sont limités à un seul flux de travail ou ensemble de données.