Accélérer l'analyse sismique : comment HPG d'UNICAMP et Azimuta a utilisé Qumulo pour mettre à l'échelle les charges de travail HPC sur AWS
Fournir des informations sismiques plus rapidement grâce à l'extension du cloud hybride, aidant ainsi UNICAMP à accélérer les flux de travail et à maximiser les performances HPC dans AWS.
À la Laboratoire de géophysique haute performance (HPG) Au sein de l'UNICAMP (Universidade Estadual de Campinas, Brésil), des chercheurs repoussent les limites du calcul pour extraire des informations sismiques cruciales qui orientent l'exploration et l'innovation dans l'industrie pétrolière et gazière. Sous la direction de Jorge Henrique Faccipoeri Jr, le laboratoire développe des modèles mathématiques avancés et des logiciels optimisés pour les GPU afin de traiter des téraoctets de données sismiques et de révéler des caractéristiques subtiles du sous-sol, telles que des fractures, des cavités et des pièges, où le pétrole et le gaz peuvent être présents.
Faccipoeri s'est associé à Caian Benedicto, développeur de logiciels chez HPG, et à plusieurs autres personnes pour fonder AZIMUTA GeoSolutions (AZIMUTA), une société indépendante de services géophysiques spécialisée dans les solutions de traitement et d'imagerie sismiques haute performance pour l'industrie pétrolière et gazière. Ensemble, HPG et AZIMUTA s'attachent à perfectionner les techniques de calcul haute performance (HPC) afin d'accélérer et d'améliorer l'interprétation sismique.
Face à l'augmentation des charges de travail et des volumes de données, l'infrastructure sur site du laboratoire ne pouvait plus répondre aux pics de demande. Afin d'accélérer la recherche tout en préservant sa flexibilité, HPG s'est associé à Qumulo et AWS pour explorer une solution d'extension vers le cloud permettant une connexion transparente entre les environnements sur site et cloud.
Notre logiciel est conçu pour fonctionner partout, sur site ou dans le cloud. Pour ce faire, nous avions besoin d'une solution de stockage elle aussi multiplateforme. C'est précisément ce que Qumulo nous a apporté.
La Problématique
Le traitement sismique exige à la fois un débit élevé et des performances parallèles. Chaque ensemble de données peut atteindre plusieurs téraoctets, et un logiciel distribué basé sur GPU lit simultanément les données provenant de nombreux nœuds de calcul. L'infrastructure de stockage sur site de HPG convenait aux charges de travail quotidiennes, mais le partage des ressources entre plusieurs services a entraîné une limitation de la disponibilité des ressources de calcul et de stockage.
Pour respecter les délais des projets, l'équipe avait besoin de pouvoir accéder au cloud à la demande, en tirant parti des ressources de calcul d'AWS sans bouleverser ses flux de travail existants ni dupliquer d'importants ensembles de données. La solution devait également garantir une visibilité complète entre le stockage sur site et le stockage cloud, tout en offrant les mêmes performances que celles attendues par les chercheurs en laboratoire.
Lorsque nos serveurs locaux sont saturés, nous devons augmenter instantanément nos capacités. L'extension vers le cloud nous offre cette flexibilité, à condition que nos données puissent être déplacées et fonctionner de la même manière qu'en environnement sur site.
La solution
En collaboration avec Qumulo, HPG a déployé une configuration hybride qui utilise Qumulo Core sur site et Cloud Native Qumulo (CNQ) sur AWS, connectés via Qumulo Cloud Data Fabric (CDF).
CDF sert de pont de données entre les environnements, permettant aux chercheurs d'accéder aux mêmes fichiers et de les traiter depuis l'un ou l'autre emplacement sans avoir à migrer ni à répliquer l'intégralité des jeux de données. Les portails de données ont été configurés avec le cluster sur site comme nœud central et le cluster AWS CNQ comme nœud périphérique, créant ainsi une couche de cache intelligente dans le cloud.
Lors du lancement de tâches de traitement sismique sur AWS, le NeuralCache de Qumulo a automatiquement préchargé uniquement les blocs de données nécessaires. Ce système de mise en cache adaptatif, basé sur l'apprentissage automatique, a permis de relancer rapidement les expériences avec des temps d'accès considérablement réduits.
Le parcours de déploiement
Cette preuve de concept visait à valider les performances, l'évolutivité et la facilité d'intégration. En quelques jours, Qumulo Core était opérationnel dans le centre de données de HPG, CNQ a été déployé en quelques minutes sur AWS et Cloud Data Fabric a connecté les deux environnements de manière transparente. Une fois configurée, la plateforme de données Qumulo synchronise automatiquement les données entre les environnements sur site et cloud, en mettant à jour uniquement les blocs de données modifiés et en assurant une parfaite cohérence entre les deux environnements.
Ce cache intelligent et hautement cohérent a éliminé la nécessité de gérer manuellement des copies de fichiers ou de réconcilier les versions, garantissant ainsi que chaque accès aux données dans AWS se réfère à une source unique et fiable. Les chercheurs pouvaient ainsi déployer en toute confiance des charges de calcul supplémentaires dans le cloud, sachant que leurs applications utilisaient toujours les données les plus récentes, sans modifier leurs flux de travail existants.
Ces résultats ont démontré comment la mise en cache intelligente de Qumulo et l'expérience cohérente du système de fichiers permettent aux flux de travail HPC de s'exécuter de manière transparente dans différents environnements, sans qu'aucune modification de l'application ne soit nécessaire.
Impact sur les entreprises
Un temps d’analyse plus rapide : L'extension du cloud a permis de réduire la latence d'accès aux données jusqu'à 3 fois, accélérant ainsi les expériences sismiques itératives et le réglage des modèles.
Évolutivité élastique : Les chercheurs peuvent désormais adapter à la demande les ressources de calcul accélérées par GPU dans AWS, sans être limités par la disponibilité du matériel local.
Accès aux données hybride transparent : Cloud Data Fabric fournit une couche de données unifiée entre les environnements sur site et le cloud, éliminant ainsi le besoin de migration ou de duplication manuelle.
Infrastructure simplifiée : L'installation s'est faite sans difficulté et la configuration hybride n'a nécessité aucune refonte des applications ou des flux de travail.
Nous n'avons pas eu à repenser nos systèmes ni à changer nos méthodes de travail. Qumulo nous a permis d'exécuter des calculs haute performance n'importe où, avec la même visibilité et les mêmes performances.
Regard vers l'avenir
Qumulo, HPG et AZIMUTA ouvrent la voie à la prochaine génération de flux de travail HPC hybrides en combinant l'élasticité du cloud computing et les performances des systèmes sur site. Grâce à la mise en cache intelligente des données et à l'extension transparente des ressources vers le cloud, Qumulo permet aux chercheurs de se concentrer sur l'avancement des sciences sismiques plutôt que sur la gestion de l'infrastructure.
En accélérant le traitement des données sismiques, nous pouvons prendre plus rapidement de meilleures décisions en matière de forage, éviter les puits secs coûteux et optimiser notre retour sur investissement.
Industrie:
Pétrole et gaz / Recherche
Cas d'utilisation:
Extension de capacité de calcul haute performance (HPC) hybride dans le cloud pour le traitement des données sismiques
Déploiement:
Qumulo Core (sur site) + CNQ sur AWS connectés via Cloud Data Fabric
Addresse :
Campinas, Brésil
Présentation de la société:
HPG développe des modèles mathématiques avancés et des logiciels optimisés pour GPU afin de traiter des téraoctets de données sismiques. L'infrastructure de stockage sur site de HPG fonctionnait bien pour les charges de travail quotidiennes, mais à mesure que plusieurs départements partageaient les ressources, la disponibilité des capacités de calcul et de stockage est devenue limitée.
Pourquoi Qumulo :
- Accès aux données hybride transparent
- Mise en cache intelligente pour des exécutions plus rapides
- Évolutivité du cloud avec des performances sur site
- Configuration simple, aucune modification du flux de travail
Résultats:
- Vitesse de lecture des données 3 fois plus rapide après la mise en cache
- Extension rapide du cloud pour les charges de travail HPC
- Délai d'obtention d'informations réduit et meilleure utilisation des ressources
- Visibilité unifiée dans un environnement hybride