Azure Native Qumulo Maintenant disponible dans l'UE, au Royaume-Uni et au Canada - En savoir plus

Le Supercomputer Center de San Diego surpasse le stockage avancé avec Qumulo

La communauté mondiale de la recherche scientifique englobe des industries, des individus et des spécialités. Cependant, il a un point commun: la nécessité de disposer d’énormes ressources informatiques et de stockage de données.

Seuls quelques organismes de recherche peuvent s'offrir leur propre superordinateur et leurs systèmes de stockage avancés. Beaucoup se tournent vers des fournisseurs de services gérés spécialisés (MSP) pour offrir une capacité de stockage et de calcul à distance aux clients du secteur de la recherche qui utilisent beaucoup de données.

photo sdsc

Le San Diego Supercomputer Center mène la charge

Le San Diego Supercomputer Center, ou SDSC, est l'un des principaux MSP de la communauté scientifique des secteurs gouvernemental, universitaire et commercial.

SDSC est membre de XSEDE (eXtreme Science and Engineering Discovery Environment), un système virtuel unique permettant aux chercheurs de partager de manière interactive des ressources informatiques, des collections de données et des outils de recherche avancés.

En tant qu’unité de recherche de l’Université de Californie à San Diego, SDSC utilise ses supercalculateurs sur site pour exécuter des calculs avancés ainsi que tous les aspects du stockage et de l’analyse de données volumineuses, notamment l’intégration de données, la modélisation des performances, l’exploration de données et l’analyse prédictive.

SDSC collabore avec ses clients pour personnaliser les ressources des superordinateurs et des systèmes de stockage pour les projets de données extrêmes, notamment la visualisation en astrophysique pour le musée américain d'histoire naturelle, les simulations à grande échelle du Big One dans le sud de la Californie et la modélisation sophistiquée de la saison de la grippe pour les Centers for Disease. Contrôle.

Deux des projets importants du SDSC servent la communauté de recherche en neurosciences à croissance rapide - le Center's Neuroscience Gateway (NSG), financé par la National Science Foundation (NSF) et le National Institute of Health (NIH), qui est une collaboration entre le Centre, l'Université de Yale , et University College de Londres. NSGportal permet aux chercheurs en neurosciences d'accéder à l'informatique à grande échelle pour la modélisation et le traitement des données, ce qui nécessite la gestion de grandes données neuroscientifiques stockées sur ses systèmes de stockage gourmands en données.

Une autre offre de neurosciences en cours de développement est la passerelle NEMAR (Human NeuroElectroMagnetic Data Archive). La passerelle développe un accès ouvert aux données EEG (électroencéphalographie) et MEG (magnétoencéphalographie) archivées pour les neuroscientifiques, et le stockage et la gestion de données à grande échelle sont des éléments clés du projet.

«Avec Qumulo, nous avons réalisé des dépenses opérationnelles bien inférieures à celles que nous avons connues avec d'autres solutions de stockage. De plus, nous avons doublé la taille de notre cluster et nous allons probablement le doubler bientôt. »

Les demandes des clients pourraient dépasser les super ressources

SDSC a été confronté à un défi concernant son infrastructure de stockage. Ces passerelles gourmandes en données et ces piles de technologies clientes doivent prendre en charge un stockage de données haute performance et haute capacité pour des quantités massives de mégadonnées, dont la plupart sont non structurées. Bien que les supercalculateurs du Centre gèrent facilement les tâches informatiques, les systèmes de stockage de neurosciences manquaient de capacité d'évolutivité massive et des fonctionnalités de stockage nécessaires pour prendre en charge le Big Data, un accès rapide et des analyses avancées.

«Nos besoins en stockage pour les projets de données NSG et EEG / MEG passent de dizaines de téraoctets à des centaines de téraoctets», a déclaré Amit Majumdar, Ph.D., directeur du calcul scientifique basé sur les données au SDSC. "Transfert et stockage de données volumineux, accès haut débit, partage, fonctionnalités de recherche - tout cela devient de plus en plus important pour nos projets."

Pour répondre aux besoins de ses clients, SDSC avait besoin d’une solution de stockage offrant un équilibre optimal entre performances, capacité, évolutivité, durabilité et fonctionnalités avancées, le tout à un coût raisonnable.

«Chez SDSC, fournir des analyses et des résultats critiques est primordial, mais les charges de travail de calcul haute performance dépendent incroyablement de leur système de stockage. En tant qu'organisation, nous nous dirigeons vers l'intégration du cloud pour le calcul et le stockage, dans le cadre de nos passerelles scientifiques. En conséquence, il est important pour nous de rendre disponibles les technologies cloud de pointe via notre division Research Data Services », a ajouté Majumdar.

"Transfert et stockage de données volumineux, accès haut débit, partage, fonctionnalités de recherche - tout cela devient de plus en plus important pour nos projets."

Partenariat avec Qumulo

Le désir du Centre pour un nouveau type de fournisseur de stockage a été motivé par un ensemble de nouveaux clients qui avaient besoin de plus de 1 Po de capacité de stockage. SDSC était préoccupé par la performance, la fiabilité et la gestion de ses solutions de stockage existantes à cette échelle.

Brian Balderston, directeur de l'infrastructure de SDSC, a décidé qu'il devait y avoir un meilleur moyen. Il a testé plusieurs systèmes de stockage hautes performances et a opté pour le stockage de fichiers en cloud hybride de Qumulo en tant que chef de file de l’infrastructure de stockage et d’informatique à forte intensité de données pour la communauté nationale des chercheurs.

«Je pensais que nous pourrions construire un meilleur système de stockage pour notre client qui n'a pas besoin d'autant de soins opérationnels et d'alimentation. J'ai donc contacté l'équipe Qumulo avec nos exigences », a déclaré Balderston. «Leur système de fichiers NAS évolutif distribué répondait à nos exigences en matière de capacité, de performances, d'intégrité des données et d'évolutivité à un prix acceptable pour notre client.»

Le stockage de fichiers de Qumulo était différent de l'infrastructure existante au SDSC et de celle utilisée par ses organisations clientes. La plupart des clients universitaires du Centre étaient habitués à des systèmes de fichiers parallèles open source pour les charges de travail de données de recherche. La pile logicielle propriétaire et le système de fichiers distribués de Qumulo constituaient un nouveau type de stockage et se sont rapidement révélés plus avancés et capables de gérer d'énormes charges de travail de recherche scientifique, maintenant et à l'avenir.

Qumulo met à l'échelle les données non structurées plus efficacement que les systèmes de fichiers parallèles, ce qui en fait l'outil idéal pour les environnements avec un nombre de fichiers important, des structures de répertoires et des milliards de petits fichiers. Le système de fichiers NAS évolutif prend en charge l'intégration et l'accès rapides et est extrêmement consultable. La haute disponibilité et les temps de reconstruction minimaux garantissent la sécurité et la disponibilité des données - sans perte de données.

Les coûts d'investissement de la SDSC pour Qumulo étaient conformes à son budget et ses coûts opérationnels se sont avérés inférieurs aux prévisions. «Avec Qumulo, nous avons réalisé des dépenses opérationnelles bien inférieures à celles que nous avons connues avec d'autres solutions de stockage», a noté Balderston. «De plus, nous avons doublé la taille de notre cluster et nous allons probablement le doubler bientôt.» SDSC a répercuté les économies sur ses clients MSP, ce qui rend sa plate-forme d'hébergement encore plus attractive.

«Nous venons de faire apparaître un autre noeud dans le rack, d'appuyer sur un bouton et de deviner quoi? Plus d'espace."

Mise à l'échelle massive, haute performance

Aujourd'hui, Qumulo fournit à SDSC et à ses clients un stockage persistant pour les charges de travail haute capacité / hautes performances. Les composants clés de l'infrastructure comprennent les machines virtuelles (VM), le stockage Qumulo monté sur un superordinateur et les réseaux à bande passante élevée. SDSC s'oriente vers l'intégration du stockage sur site et dans le cloud pour servir ses passerelles scientifiques. Le stockage de fichiers de Qumulo étant natif dans le cloud, il prend en charge de manière transparente l'intégration sur site et dans le cloud.

Qumulo optimise son logiciel unique pour des lectures et des écritures rapides. L'architecture accélérée offre une latence extrêmement faible et des performances de débit et d'IOPS élevées. La mise en cache prédictive et la prélecture identifient de manière proactive les modèles d'E / S et déplacent efficacement les données sur le support le plus rapide.

Qumulo est également simple à déployer, gérer et accéder à des composants critiques pour SDSC et ses clients. «Qumulo a été incroyablement facile à gérer pour SDSC», a déclaré Balderston.

«Au lieu de concentrer notre personnel et nos ressources sur la gestion d'un certain nombre de systèmes de stockage inefficaces, nous utilisons notre temps d'ingénierie pour travailler sur des subventions très percutantes et bien financées de la National Science Foundation, du National Institute of Health et d'autres agences de financement. C'est une grande victoire pour nous tous. »

Qumulo a prouvé qu'il s'agissait d'un autre type d'entreprise de stockage - une entreprise qui a construit son stockage pour l'ère moderne. Certains systèmes de stockage hérités fonctionnent toujours pour les données structurées dans des environnements de stockage traditionnels bien définis. Mais ces produits n'ont jamais été conçus pour la croissance massive des données d'aujourd'hui, les types de données non structurés, les charges de travail scientifiques intensives et les applications complexes.

Pour répondre à ces nouvelles exigences en matière de stockage et les dépasser, Qumulo a conçu son logiciel en utilisant les principes qui sous-tendent les bases de données distribuées modernes et à grande échelle. Le résultat est un système de fichiers unique avec des performances et une évolutivité inégalées.

L'adoption par les clients prouve le point à SDSC. «Ma plus grande réussite est probablement de mettre en place ce système de stockage et d’en obtenir une adoption massive», a déclaré Balderston. «Depuis la première validation de principe, SDSC a atteint un nouvel ensemble de clients, dont plus de deux douzaines de laboratoires et départements de recherche de l'Université de Californie. Je ne peux penser à aucun autre service qui ait été adopté aussi rapidement. »

Logo SDSC

À PROPOS

Le San Diego Supercomputer Center, ou SDSC, est l'un des principaux MSP de la communauté scientifique des secteurs gouvernemental, universitaire et commercial. En tant qu’unité de recherche de l’Université de Californie à San Diego, SDSC utilise ses supercalculateurs sur site pour exécuter des calculs avancés ainsi que tous les aspects du stockage et de l’analyse de données volumineuses, notamment l’intégration de données, la modélisation des performances, l’exploration de données et l’analyse prédictive.

CAS D'UTILISATION

  • Stocker et gérer efficacement des magasins de fichiers massifs non structurés
  • Soutenir des charges de travail de recherche scientifiques importantes et croissantes
  • Fournir une acquisition de données hautes performances et un accès à plusieurs clients mondiaux

CONDITIONS REQUISES

  • Haute performance
  • Haute disponibilité et durabilité
  • Facilité de déploiement, de gestion et d'accès
  • Passez facilement de la tuberculose à la PB
  • Rentable
Remonter en haut