Stockage de données d'imagerie de recherche

Stockage d'imagerie de recherche hautes performances et évolutif

Les techniques d'imagerie modernes sont une partie essentielle de la recherche de pointe.

Dans les domaines des sciences de la vie, de la recherche pharmaceutique, de la science des matériaux, de la médecine, de la géophysique et de l’astronomie, l’imagerie moderne a un impact dans tous ces domaines, qui est souvent méconnu.

Par exemple, la nanoscience est l'étude des atomes, des molécules et des objets dont la taille est à l'échelle du nanomètre. Un nanomètre correspond à un milliardième de mètre, ce qui correspond à l'échelle des diamètres atomiques. À titre de comparaison, un cheveu humain a une épaisseur d'environ 100,000.

Les microscopes électroniques permettent une nanoscience avec un niveau de détail qui n'était tout simplement pas disponible il y a dix ans et qui est essentiel pour comprendre les processus biologiques. Les techniques d'imagerie modernes offrent de nombreuses technologies: microscopie, imagerie par résonance magnétique, spectrométrie de masse, imagerie par rayons X, imagerie radar, imagerie par ultrasons, imagerie photoacoustique, imagerie thermique et imagerie à partir de télescopes et de satellites. Toutes ces techniques produisent de grandes quantités de données de fichiers et imposent des exigences considérables au système de stockage de fichiers d'une organisation.

La microscopie électronique, par exemple, crée des images haute résolution qui génèrent de très grands ensembles de données. Ces ensembles de données sont utilisés dans différents types d'analyses intensives en calcul, telles que la création d'un modèle 3D à partir d'un ensemble de données d'images 2D. Une seule image 2D est constituée de centaines de mégaoctets, et un modèle 3D complet, construit à partir de la collection d'images 2D, peut être 20TB de stockage de fichiers ou plus.

Dans une étude, un groupe de chercheurs a utilisé la microscopie électronique et QF2 pour créer une carte de toutes les connexions neuronales existant dans une rétine de lapin. Les fines tranches de la rétine ont été scannées puis assemblées numériquement en une image 3D haute résolution. Les chercheurs, qui sont toujours sous pression pour publier leurs résultats, ont besoin de traiter rapidement ces images pour les analyser. Ils ont également exigé qu'ils puissent faire pivoter et sectionner le modèle 3D final en temps réel. Ces deux activités nécessitaient que le système de stockage fournisse des données assez rapidement pour alimenter en permanence le pipeline de calcul.

Qumulo for Research Imaging Storage

Qumulo File Fabric (QF2) est un système de stockage de fichiers moderne et hautement évolutif qui s'exécute dans le centre de données et dans le cloud public. QF2 gère les gros et les petits fichiers avec une efficacité égale et peut évoluer vers des milliards de fichiers. Ses performances, son coût, sa visibilité en temps réel et sa simplicité en font un outil idéal pour les institutions engagées dans la recherche de pointe.

Haute performance: solutions de stockage d'images de recherche

performance

La gestion du débit et de la latence est essentielle pour l'imagerie de recherche. Les chercheurs veulent voir les images en temps réel et sont sensibles à la latence. La visualisation d'images, en particulier d'images 3D, peut nécessiter de nombreuses lectures aléatoires à partir d'un fichier volumineux. De plus, les images sont en cours de traitement alors que les chercheurs accèdent aux données d’image précédemment générées. Toutes ces activités imposent de lourdes exigences au système de stockage.

QF2 offre des performances deux fois supérieures à celles des systèmes de stockage existants. L'architecture hybride de QF2 avec la mise en cache de lecture adaptative fournit les performances requises pour les lectures aléatoires dans les fichiers volumineux. La mise en cache en lecture utilise une carte thermique basée sur l'accès pour déplacer intelligemment les données vers le niveau Flash, si nécessaire. La mise en cache de lecture de QF2 s'accorde bien avec les modèles d'accès variable des plans d'image 2D et des enregistrements de métadonnées liés. Les clients obtiennent des performances élevées même avec les fichiers image 3D qui nécessitent des lectures de petits blocs aléatoires pour accéder à l'image que le chercheur souhaite voir.

Solutions de stockage d'imagerie de recherche abordables

du béton

QF2 coûte moins cher et a un coût total de possession inférieur à celui des anciens appareils de stockage. Sa technologie de système de fichiers avancée signifie que 100% de la capacité allouée est disponible et pas seulement les 70% ou 80% que les systèmes de stockage hérités recommandent. QF2 est optimisé pour le matériel standard avec des disques SSD et des disques durs, qui coûtent moins cher que le matériel propriétaire. Dans le cloud, QF2 échange intelligemment entre des ressources en blocs à faible latence et des options de blocs à latence plus élevée et à moindre coût. QF2 offre des performances flash à des prix de disque dur. Un service d'abonnement simple et unique couvre tout, y compris toutes les fonctionnalités, mises à jour et support. Il n'y a pas de frais supplémentaires ni de frais cachés.

Logiciel de gestion du stockage pour le stockage des images de recherche

Visibilité

Les administrateurs de stockage ont besoin d'un aperçu en temps réel de la manière dont le système de stockage est utilisé par les différents services et ils ont besoin d'un contrôle en temps réel pour gérer les goulots d'étranglement et les processus malveillants. Les systèmes de stockage hérités qui reposent sur des appliances hors cluster et des parcours arborescents lents ne peuvent pas fournir d'informations en temps opportun.

La visibilité et le contrôle en temps réel de QF2 sont extrêmement utiles pour la gestion des flux de travaux d'imagerie de recherche. Avec QF2, il est facile de trouver le hotspot d'E / S et d'arrêter le processus. Les administrateurs peuvent attribuer des quotas en temps réel afin de toujours contrôler la manière dont les ressources sont allouées entre les différents projets. Les processus malveillants pouvant utiliser les ressources d'un système de stockage et arrêter le système sont faciles à identifier et à arrêter.

Les outils d'exploration de capacité et de tendances de capacité fournissent des informations actualisées sur la manière dont le stockage est actuellement utilisé et sur la manière dont le stockage a été utilisé sur différentes périodes. Grâce à ces outils, les administrateurs peuvent donner aux chercheurs des chiffres réalistes lorsqu'ils incluent des coûts de stockage dans leurs demandes de subvention.

Gestion simple pour le stockage d'images de recherche

Simplicité

Les instituts de recherche ont habituellement un petit personnel informatique. La complexité de la mise en place de systèmes de stockage hérités et le manque de compréhension qu’ils offrent en font des systèmes coûteux en termes de gestion. À partir du moment où QF2 est désenregistré et qu'il peut commencer à servir des données, il suffit de quelques heures, pas de jours. (QF2 for AWS a une configuration presque instantanée.) Une fois que le système est en cours d'exécution, le service d'assistance aux étudiants ou le personnel junior peut le gérer.

Workflow d'imagerie de recherche

Voici un exemple de workflow d'imagerie de recherche.
Diagramme du flux de travail de recherche qui inclut le stockage d'imagerie de recherche
Les images générées par le microscope sont transférées au cluster QF2. Le traitement se produit dans la ferme de calcul et, parallèlement, les chercheurs peuvent effectuer leurs analyses sur leurs propres postes de travail. Les performances de QF2 garantissent un accès simultané aux données par les chercheurs et les ressources de calcul.

Nous avions l'habitude de dire «juste ajouter plus de capacité», mais le stockage est tellement plus compliqué et essentiel que 10, il y a plusieurs années, que nous devons traiter le stockage comme Nick Rathke - Directeur associé, Technologie de l'information scientifique Institut d'informatique et d'imagerie, Université de l'Utah

Webinaire: Conduire la recherche avec QF2

Découvrez comment l’Institut d’informatique et d’imagerie scientifique de l’Université d’Utah utilise QF2 pour mener ses recherches.

Présentation technique de QF2

QF2 est conçu pour répondre aux exigences actuelles en matière d’échelle et de mobilité des données. C'est le premier système de stockage de fichiers à échelle universelle au monde.

Vous voulez en savoir plus?

Donnez-nous 10 minutes de votre temps, et nous vous montrerons comment repenser le stockage de données.