Accélération des flux de données d'IA avec la plateforme de données cloud Qumulo

Rédigé par: 

Introduction

À l’ère de l’intelligence artificielle (IA) et de l’apprentissage automatique (ML), le traitement efficace de volumes massifs de données non structurées est un enjeu de taille. Les entreprises et les agences gouvernementales exploitent de plus en plus l’IA pour obtenir des informations, améliorer leurs opérations et stimuler l’innovation. Cependant, les défis liés à la gestion des données peuvent entraver les initiatives d’IA, en particulier dans les environnements hybrides et multicloud. La plateforme de données cloud Qumulo relève ces défis en fournissant une solution transparente et performante pour l’accélération des données IA dans le cloud public.

Présentation de la plateforme de données cloud Qumulo

La plateforme de données cloud Qumulo est une solution complète qui unifie le stockage et la gestion des données dans les environnements cloud sur site et publics, privés et hybrides. Elle comprend trois composants principaux :

  • Clusters Qumulo sur site : Ces solutions sont déployées dans des centres de données, des campus de recherche, des hôpitaux et d'autres sites importants, hébergeant des exaoctets de données de fichiers et d'objets non structurés. Elles offrent un stockage hautes performances optimisé pour les charges de travail à grande échelle sur tous les points de la courbe prix/performance.
  • Instances Qumulo natives du cloud : Déployées chez les principaux fournisseurs de cloud tels qu'AWS, Azure, Google Cloud Platform (GCP) et Oracle Cloud Infrastructure (OCI), ces instances étendent les capacités de Qumulo au cloud, permettant des solutions de stockage de données évolutives et flexibles à des taux de performance comparables aux systèmes de fichiers parallèles mais à des coûts comparables aux offres de stockage sur site.
  • Tissu de données mondial : Il s'agit de l'ossature de données qui intègre les instances sur site et multicloud dans un système cohérent. Cela permet l'adoption de n'importe quel modèle et/ou service d'IA pour accéder simultanément aux mêmes données, que les GPU soient sur site ou dans le cloud, en fonction de la disponibilité et des prix. Il offre :
    • Espace de noms global strictement cohérent (GNS) : Assure la cohérence des données sur tous les sites.
    • Mise en cache GNS en lecture/écriture Edge : Fournit un accès à faible latence aux données fréquemment utilisées en périphérie et dans des centres de données géographiquement dispersés, des clouds ou une combinaison des deux.
    • Mise en cache du magasin de données persistant en lecture/écriture groupée : Améliore les performances en mettant en cache les données plus près des ressources de calcul et réduit les coûts de transaction des API S3/Blob/GCS.
    • Qualité de service tenant compte du réseau et utilisation efficace du réseau : Cette technologie optimise le transfert de données sur les réseaux étendus (WAN) en fonction des conditions du réseau.

Accélération des charges de travail de l'IA

Déplacement intelligent des données

La plateforme de données cloud Qumulo permet un déplacement intelligent et efficace des données dans la Global Data Fabric. Les données peuvent être diffusées à la demande au niveau du bloc depuis n'importe quel emplacement et exprimées vers des clusters de lecture/écriture basés sur le cloud sur le WAN. Ces clusters utilisent un stockage S3 à faible coût et à haute durabilité comme couche de persistance et une mise en cache intelligente sur un disque attaché à une instance NVMe dans EC2. Ce faisant, les données sont facilement disponibles pour alimenter les instances GPU à des vitesses inégalées par les offres de stockage de fichiers basées sur le cloud traditionnelles.

Améliorations des performances

  • Temps d'exécution du GPU réduit : Qumulo améliore le temps d'exécution du GPU jusqu'à 40 % en accélérant le transfert de données depuis le stockage de fichiers Cloud Native Qumulo vers le système GPU hébergé dans le cloud, évitant ainsi la phase de copie des données de S3 vers le GPU. Cette optimisation résout le goulot d'étranglement et les coûts souvent causés par le chargement de données depuis des magasins d'objets ou de fichiers vers un stockage NVMe local sur des instances GPU avant le début de l'exécution de la formation.
  • Économies de coûts sur les appels API S3 : La plateforme de données cloud utilise une mise en cache et un compactage de lecture prédictifs et intelligents basés sur l'apprentissage automatique tout en compressant le cache d'écriture, qui combine les appels d'API S3. Cette approche réduit les frais d'API S3 jusqu'à 90 %, ce qui se traduit par des économies de coûts importantes.
  • Instances GPU optimisées : Cette fonctionnalité élimine le besoin pour les instances GPU EC2 de disposer d'un stockage NVMe local, permettant ainsi des instances GPU à moindre coût sans compromettre les performances.

IA basée sur le cloud pour les entreprises

De nombreuses entreprises et agences gouvernementales n'ont pas besoin de clusters GPU à temps plein pour la formation des charges de travail. La position de Qumulo est la suivante : IA générative (GenAI) Les charges de travail (formation, réglage et inférence) seront principalement basées sur le cloud pour la plupart des organisations. Les avantages sont les suivants :

  • Maintien de la gouvernance des données permet de respecter les exigences existantes en matière de provenance et de gouvernance des données, garantissant ainsi la conformité et la sécurité des données, avec un risque réduit.
  • Dépenses en capital réduites élimine le besoin d’investissement substantiel dans l’acquisition de GPU et réduit les coûts de traitement d’exécution.
  • Consommation de ressources élastiques offre la flexibilité nécessaire pour augmenter ou diminuer les ressources en fonction des exigences de la charge de travail, optimisant ainsi les dépenses opérationnelles. Cela est d'une importance cruciale, car 80 % du développement de l'IA implique de trier les données et d'affiner les modèles avant d'exécuter la tâche de formation.
  • Temps de traitement accéléré accélère les flux de travail de l'IA jusqu'à 40%, améliorant l'agilité et le temps d'analyse.

Exploiter les modèles GenAI publics et commerciaux

Qumulo reconnaît que la plupart des entreprises préfèrent utiliser des modèles GenAI publics ou commerciaux plutôt que de créer leurs propres modèles. Pour soutenir cette démarche, Qumulo a développé les éléments suivants :

  • Intégration API robuste : La plateforme de données cloud Qumulo offre des API robustes qui peuvent s'interfacer avec des services d'IA basés sur le cloud, notamment des modèles de langage volumineux (LLM) et des outils de développement IA/ML disponibles auprès des principaux fournisseurs de cloud comme Microsoft et AWS aujourd'hui.
  • Traitement sécurisé des données : Tirer parti de techniques telles que Génération augmentée par récupération (RAG) et des politiques de gouvernance des données appropriées, les entreprises peuvent utiliser des LLM publics ou ouverts tout en garantissant que leurs données ne sont pas utilisées dans de futurs ensembles de données de formation, préservant ainsi la confidentialité des données et la protection de la propriété intellectuelle.

Pour aller plus loin

La plateforme de données cloud Qumulo offre une solution robuste pour accélérer les flux de données IA dans le cloud public. En unifiant les environnements sur site et cloud via sa Global Data Fabric, Qumulo relève les défis de la gestion et du déplacement des données à grande échelle. Les entreprises peuvent réaliser des gains de performances et des réductions de coûts significatifs et maintenir la conformité aux normes de gouvernance des données. De plus, en facilitant l'intégration avec les modèles GenAI publics tout en protégeant les données, Qumulo permet aux organisations d'exploiter efficacement les technologies IA sans compromettre la sécurité ni engager de dépenses inutiles.

Principaux avantages

  • Flexible: Il répond aux besoins de performances, de capacité et de sécurité de l'ensemble du cycle de vie des données de l'IA (ingestion, transformation et chargement des données), permettant ainsi un pipeline de données de bout en bout transparent.
  • Performance : Des temps de chargement de données plus rapides améliorent le temps d'exécution du GPU et l'économie.
  • Illimité: Permet un accès transparent et sécurisé aux données entre les clouds publics et privés et entre les organisations pour permettre des opportunités commerciales et de recherche transformatrices.
  • Rapport coût-efficacité: Jusqu'à 90 % de réduction des frais d'API S3 ; permet l'utilisation d'instances GPU à moindre coût sans NVMe local.
  • Évolutivité: Consommation élastique des ressources GPU
  • Gouvernance des données : Maintient la provenance des données existantes et les exigences de conformité.
  • Durabilité des données : La prise en charge multi-AZ et le codage d'effacement parallèle S3 améliorent encore la durabilité légendaire d'AWS S3
  • Sécurité : Empêche l’utilisation des données d’entreprise dans la formation de modèles externes grâce à des intégrations d’API sécurisées.

En adoptant la plateforme de données cloud Qumulo, les entreprises disposent des outils nécessaires pour gérer efficacement et en toute sécurité les exigences des charges de travail de l'IA moderne. Cela leur permet de se positionner à la pointe de l'innovation en matière d'IA, en offrant un avantage concurrentiel et en ouvrant des opportunités commerciales transformatrices.

0 0 votes
Évaluation de l'article
S’inscrire
Prévenez-moi de
invité
0 Description
Le plus ancien
Date Les plus votés
Commentaires en ligne
Voir tous les commentaires

Articles Similaires

0
J'adorerais vos pensées, veuillez commenter.x
Remonter en haut