Azure Native Qumulo Maintenant disponible dans l'UE, au Royaume-Uni et au Canada - En savoir plus

Stockage Flash entièrement NVMe pour les charges de travail de fichiers AI et ML de HPE et Qumulo

Rédigé par:

Découvrez comment les serveurs HPE et la plate-forme de données de fichiers Qumulo fournissent un stockage Flash entièrement NVMe pour les charges de travail AI et ML / DL pour prendre en charge les demandes croissantes de données non structurées avec des performances à haut débit et une facilité d'utilisation.

Pourquoi AI, ML et DL sont des cas d'utilisation optimaux pour le stockage flash NVMe

Les flux de travail d'apprentissage en profondeur (DL) utilisent une taille de fichier comprise entre 64 Ko et 1 Mo. Pour saturer un serveur basé sur une intelligence artificielle (IA) GPU, comme le HPE Apollo 6500 système nécessitant au moins 20 Go — nécessite des milliers de disques durs. NVMe est la solution pour les charges de travail d'apprentissage automatique (ML) et DL car NVMe Les lecteurs flash peuvent offrir jusqu'à 1000 fois les performances des disques durs et peuvent dépasser 5 fois les performances des SSD SATA les plus rapides dans les scénarios d'entraînement à l'IA. *

Comme nous l'avons vu dans les blogs précédents dans ce série de magasins de données, trois dimensions principales entrent en jeu lors de la sélection d'une plate-forme de données pour les charges de travail AI, ML et DL:

  • Performance—ML / DL nécessite des débits d'E / S de plusieurs gigaoctets par seconde. Les systèmes de stockage doivent fournir les performances requises pendant la formation AI / ML pour éviter de «priver» le GPU, et donc prolonger la durée de l'analyse.
  • Évolutivité—Plus de données, c'est mieux! C'est le mantra de l'IA. Les projets d'apprentissage automatique nécessitent d'énormes ensembles de données pour la formation des modèles, ce qui entraîne une croissance constante des données au fil du temps.
  • Opérations—Les systèmes de plates-formes de données doivent être faciles à utiliser, fournir des performances constantes aux applications et avoir des temps d'arrêt limités. Des temps d'arrêt excessifs, des performances irrégulières ou des compétences opérationnelles étendues retarderont les projets d'IA et augmenteront le TCO de la plate-forme.

En général, les systèmes de stockage existants sacrifient une ou plusieurs de ces dimensions:

  • Stockage à connexion directe (DAS) est généralement le choix initial des projets d'IA car il peut fournir des performances constantes, mais il présente des limites d'évolutivité, crée des ensembles de données isolés et des défis dans le partage d'ensembles de données entre plusieurs unités de calcul.
  • Systèmes de fichiers partagés comme le système de fichiers distribués Hadoop (HDFS) résolvent les problèmes de capacité, mais ils présentent des limites de performances en particulier pour les petits modèles d'E / S aléatoires qui sont courants dans de nombreux cas d'utilisation DL.
  • Systèmes de fichiers parallèles tels que GPFS et Lustre, ont été conçus pour des performances à haut débit et pour partager un ensemble de données volumineux, mais ils sont extrêmement compliqués à utiliser.

La plateforme de données de fichiers Qumulo optimise ces trois dimensions: performances, évolutivité et facilité d'utilisation

Avec son architecture évolutive, flash-first et une plate-forme de données de fichiers spécialement conçue pour une simultanéité massive sur tous les types de données, il répond à toutes ces dimensions. Qumulo réduit au minimum la configuration requise et la complexité de gestion. Il permet une évolutivité transparente et linéaire des TB aux PB dans un seul espace de noms. Enfin, il fournit les hautes performances et la simultanéité persistantes nécessaires pour accélérer les charges de travail d'IA et de ML à grande échelle.

Plateforme de données de fichiers Flash-First Qumulo

La plate-forme de données de fichiers multi-protocoles de Qumulo permet aux organisations de stocker, gérer et créer facilement des applications et des flux de travail avec des données sous leur forme de fichier natif sur site et dans le cloud, avec une visibilité en temps réel et une liberté totale.

Qumulo est plus économique que le stockage hérité avec des performances de pointe. La solution fournit des analyses en temps réel pour aider à économiser du temps et de l'argent tout en augmentant les performances. La réplication continue permet aux données de se déplacer là où elles sont nécessaires quand elles sont nécessaires sur site, dans le cloud public ou dans des environnements multi-cloud. La protection des données intégrée fournit des instantanés intégrés et une copie vers le S3 natif.

La plateforme de données de fichiers flash-first de Qumulo a été certifiée et optimisée sur le HPE Apollo 4000 systèmes et le Famille de serveurs HPE ProLiant DL325 Gen 10 Plus, pour fournir une solution extrêmement rentable, à l'échelle du pétaoctet, et haute performance conçue pour AIcharges de travail centrées.

Voici un diagramme d'architecture de haut niveau de la plate-forme de données de fichiers Qumulo.

La Plateforme de données de fichiers Qumulo inclut de puissantes analyses en temps réel pour un aperçu de l'utilisation et des performances des données, la sécurité des données avec un cryptage logiciel et la protection des données avec des services de données tels que la réplication continue et les instantanés. Il simplifie également la gestion de quantités massives de données non structurées. La plate-forme de données de fichiers Qumulo est conçue pour évoluer facilement à la demande.

Services de données

Services de données de Qumulo permettre aux données stockées dans une plate-forme de données de fichiers Qumulo d'être affichées à la fois sous leur forme actuelle et dans les versions précédentes via des instantanés. Ces instantanés utilisent une méthodologie unique d'écriture hors lieu qui ne consomme de l'espace que lorsque des modifications se produisent. Les politiques d'instantanés peuvent également être liées à des politiques de réplication. Cela permet de répliquer les instantanés sur une deuxième plate-forme de données de fichiers Qumulo et de conserver des instantanés fréquents sur un Qumulo et des instantanés moins fréquents sur un autre, ce qui est une entreprise courante. reprise après sinistre dans le cloud stratégie.

La réplication permet aux utilisateurs de copier, déplacer et synchroniser des données sur plusieurs plates-formes de données de fichiers Qumulo. Cette technologie de réplication offre deux fonctionnalités principales: un mouvement efficace des données et une identification granulaire des données modifiées. La réplication de Qumulo est continue, ce qui signifie que toute nouvelle modification d'un répertoire répliqué sera identifiée et déplacée, asynchrone et unidirectionnelle.

La réplication du magasin d'objets permet à toute plateforme de données de fichiers Qumulo de traiter un service de stockage d'objets dans le cloud (par exemple Amazon S3) comme une cible de réplication appropriée. Les utilisateurs peuvent copier des données d'un espace de noms Qumulo vers un magasin d'objets cloud via Qumulo Shift une fois, ou de manière continue, et vice versa. Les données déplacées vers un magasin d'objets sont stockées dans un format ouvert et non propriétaire permettant aux créateurs d'exploiter ces données via des applications qui se connectent directement au magasin d'objets cloud Amazon S3, au format natif Amazon S3.

Les quotas permettent aux utilisateurs de contrôler la croissance de tout sous-ensemble d'un espace de noms Qumulo. Les quotas agissent comme des limites indépendantes sur la taille de n'importe quel répertoire, empêchant la croissance des données lorsque la limite de capacité est atteinte.

Système de fichiers Qumulo

La plate-forme de données de fichiers de Qumulo est une architecture définie par logiciel, distribuée et sans partage qui fonctionne à nu sur le matériel du centre de données, y compris HPE ProLiant génération 10 serveurs et HPE Apollo de génération 10 les serveurs. Il s'exécute également de manière native sur l'infrastructure de cloud public. Qumulo évolue linéairement à mesure que la quantité de données augmente. Ajoutez simplement des nœuds et le logiciel Qumulo rééquilibre automatiquement les données et les performances à travers le cluster.

Le système de fichiers Qumulo organise toutes les données stockées dans un système de fichiers Qumulo dans un seul espace de noms. Cet espace de noms est compatible POSIX et conserve les autorisations et les informations d'identité qui prennent en charge la sémantique complète disponible via les protocoles NFS ou SMB ainsi qu'une API REST. Comme tous les systèmes de fichiers, le système de fichiers Qumulo organise les données dans des répertoires et présente les données aux clients SMB et NFS. Cependant, la plate-forme de données de fichiers Qumulo a plusieurs propriétés uniques: l'utilisation d'arbres B, un moteur d'analyse en temps réel et des autorisations inter-protocoles (XPP).

Stockage par blocs évolutif Qumulo

Le stockage par blocs évolutif (SBS) est la base de la plate-forme de données de fichiers Qumulo. Le SBS exploite ces technologies de base pour permettre l'évolutivité, la portabilité, la protection et les performances: un système de blocs virtualisés, un codage d'effacement, un système de transaction global et un cache intelligent

La capacité de stockage d'un système Qumulo est organisée conceptuellement en un seul espace d'adressage virtuel protégé. Chaque adresse protégée dans cet espace stocke un bloc de 4 Ko d'octets. Chacun de ces «blocs» est protégé à l'aide d'un schéma de codage d'effacement pour assurer la redondance en cas de défaillance du périphérique de stockage. L'ensemble du système de fichiers est stocké dans l'espace d'adressage virtuel protégé fourni par SBS, y compris la structure de répertoire, les données utilisateur, les métadonnées de fichier, les analyses et les informations de configuration.

SBS utilise les principes d'une base de données distribuée massivement évolutive et est optimisé pour les besoins spécialisés de données basées sur des fichiers. Le SBS est la couche de bloc de la plate-forme de données de fichiers Qumulo, ce qui la rend plus simple à mettre en œuvre et extrêmement robuste. SBS offre également au système de fichiers une évolutivité massive, des performances optimisées et une protection des données.

La protection par bloc de Qumulo, telle que mise en œuvre par SBS, offre des performances exceptionnelles dans les environnements dotés de plusieurs pétaoctets de données et de charges de travail avec des tailles de fichiers variées. SBS présente de nombreux avantages, notamment:

  • Temps de reconstruction rapide en cas d'échec du lecteur de disque
  • Possibilité de poursuivre les opérations normales de fichiers pendant les opérations de reconstruction
  • Aucune dégradation des performances due à un conflit entre les écritures de fichier normales et les écritures de reconstruction
  • Efficacité de stockage égale pour les petits fichiers et les gros fichiers
  • Rapports précis en temps réel sur l'espace utilisable
  • Transactions efficaces permettant aux grappes Qumulo de s’adapter à plusieurs centaines de nœuds
  • Hiérarchisation intégrée des données chaudes / froides qui offre des performances flash au prix des archives

La plate-forme de données de fichiers de Qumulo comprend reprise après sinistre basée sur le cloud, suivi et analyse des tendances :

  • La surveillance du cloud inclut une détection proactive d'événements tels que les pannes de disque pour éviter les problèmes avant qu'ils ne surviennent.
  • Les tendances historiques aident à réduire les coûts et à optimiser les flux de travail pour une utilisation optimale de votre investissement en stockage.

Pour en savoir plus sur Qumulo, consultez le Guide technique Qumulo.

Haute performance

La plateforme de données de fichiers de Qumulo a été optimisée pour HPE ProLiant DL325 Gen 10 Plus serveurs utilisant All-NVMe et les tout derniers composants standard de l'industrie. Les serveurs HPE ProLiant permettent le stockage de fichiers extrêmement cohérent, évolutif et hautes performances nécessaire pour prendre en charge les charges de travail AI et ML.

En plus de la configuration All-NVMe, la plate-forme de données de fichiers Qumulo peut être configurée en mode hybride, combinant un niveau SSD 100% flash pour des performances élevées et un niveau HDD pour un coût inférieur. Dans cette configuration, les fichiers peuvent être automatiquement déplacés d'un niveau à l'autre pour optimiser les performances et les coûts tout au long du cycle de vie de développement de l'IA. Qumulo a une architecture flash-first où XNUMX% des écritures vont sur des disques SSD, avec le cache d'apprentissage automatique intelligent, la plupart des lectures proviennent de RAM ou de SSD.

Pourquoi HPE et Qumulo sont meilleurs ensemble

Les systèmes Flash HPE All-NVMe avec la plate-forme de données de fichiers de Qumulo répondent efficacement:

  • Besoins croissants de données non structurées—Faites évoluer et gérez des milliards de fichiers avec un contrôle instantané à moindre coût et à hautes performances, sur site, dans le cloud ou sur les deux, maintenant et dans le futur.
  • Besoins de performances à haut débit pour les applications et services d'IA et de ML: Transférez des Go / s aux serveurs basés sur GPU.
  • Besoin d'opération facile—Diminution du coût total de possession et des temps d'arrêt du système

Message d'invité: All-NVMe Flash Storage for AI and ML File Workloads a été initialement publié sur Blog de la communauté HPE.

Apprendre encore plus

Lisez à propos de Solutions HPE pour Qumulo. Et restez à l'écoute de cette série de blogs pour plus d'informations sur Solutions de magasin de données HPE pour l'IA et l'analyse avancée.

Visionnez cette webinaire à la demande pour découvrir comment Qumulo et HPE offrent simplicité et performances dans des environnements de données non structurés. Avec Ben Gitenstein, vice-président des produits de Qumulo, et Stephen Bacon, directeur de la gestion des produits et de l'ingénierie des systèmes pour les plates-formes d'analyse et de stockage de données évolutives chez HPE.

*Vitesse SSD vs HDD

Nous contacter

Articles Similaires

Remonter en haut