L'imagerie de recherche produit une grande quantité de données, qui incluent souvent des images numériques haute résolution générées par des microscopes et d'autres technologies d'imagerie. Dans ce billet de blog, je veux parler d’un projet qui se déroule au Institut de calcul scientifique et d'imagerie scientifique (SCI), un institut de recherche de l’Université d’Utah.
Pour en savoir plus : Stockage Qumulo pour l'imagerie de recherche
Les chercheurs de la SCI créent la rétine connectome des lapins comme moyen de comprendre les rétines humaines. La rétine est une fine et délicate couche de tissu qui recouvre l’arrière de l’œil et capture la lumière comme un film ou des capteurs numériques dans une caméra. Mais la rétine est aussi un réseau incroyablement complexe de centaines de millions de cellules qui traitent la lumière, la convertissant en signaux électriques envoyés au cerveau et utilisés pour créer les images que nous voyons.
Un connectome est une carte de toutes les connexions cérébrales, vertébrales et rétiniennes qui existent dans le corps d'un animal. Comprendre les voies de ce réseau, et comment ils sont recâblés par le vieillissement et la maladie, est utile pour essayer de sauver et de restaurer la vision. Si vous voulez réparer les cellules de la rétine, vous devez savoir comment elles communiquent.
Données requises pour créer des connectomes
La création de connectomes nécessite une imagerie automatisée à grande vitesse, la création automatisée de cartes informatiques et un stockage massif. Une seule carte de connexion 3D peut nécessiter plus d'espace de stockage que les ordinateurs de bureau 100. Pour l'étude de la rétine, l'équipe a utilisé des images provenant d'un microscope électronique qui scannait de fines tranches de rétine, avec pour objectif d'empiler les images dans un volume 3D haute résolution. Chaque tranche concernait 200MB du stockage de fichiers. L'ensemble de données était 20TB, mais avec les sauvegardes et autres fichiers temporaires, il prenait en charge 50TB du stockage.
La création d'un modèle de connectome étant très gourmande en calculs et en mémoire, le système de stockage doit être en mesure d'alimenter ce pipeline avec suffisamment de données pour le maintenir rempli. Le projet a commencé avec un système de stockage de fichiers différent de celui de Qumulo, et les chercheurs ont découvert que le transfert de données du disque vers les ressources de calcul était un goulot d'étranglement incroyable. Ils étaient frustrés parce que le traitement complexe lui-même prenait tellement de temps qu'ils ne pouvaient pas non plus se permettre le temps supplémentaire nécessaire pour charger les données en mémoire. Les chercheurs ont estimé qu'il faudrait quatre mois pour construire le modèle et ils voulaient raccourcir ce délai de mois en jours. Ils voulaient également pouvoir manipuler le volume 3D en temps réel une fois qu'il a été construit.
Par coïncidence, l’équipe informatique de SCI évaluait Qumulo en utilisant quatre nœuds QC24, et ils pensaient que le projet de rétine de lapin serait un bon test, du moment qu'ils le faisaient en simulant les conditions normales chez SCI, ce qui signifiait que les sessions NFS 100 à 200 s'exécutaient simultanément tout au long de la journée. En exécutant les sessions virtuelles ainsi que le projet de rétine, l’équipe informatique savait qu’elle serait bien informée de la manière dont Qumulo fonctionnerait avec l’ensemble de l’organisation.
Ils ont constaté que, avec Qumulo, ils avaient réduit le temps de production du volume 3D de quatre mois à 11, le système étant à pleine charge. Les chercheurs peuvent faire défiler le modèle, le couper en tranches, le découper en dés, comme ils veulent.
