La mission: débuts précoces
Il y a très longtemps, après un après-midi de 2016 frileux et maussade, Jason Sturgeon, notre propriétaire de matériel informatique chez Qumulo, a indiqué à l'équipe d'ingénieurs en matériel que nos clients actuels et potentiels souhaitaient un produit 100% flash.
Ils souhaitaient que Qumulo ait un nouveau niveau de plates-formes de stockage dans notre portefeuille, un produit plus rapide et plus flashy.
Considérations matérielles
Nos concurrents verrouillent leurs clients dans leur solution matérielle personnalisée. alors que notre énoncé de mission en tant que société est de ne pas le faire. En prenant comme point de départ d'autres solutions de stockage entièrement flash, nous avons exploré plusieurs plates-formes basées sur des lames. En discutant plus en détail des offres de nos partenaires, nous avons trouvé quelques solutions présentant les attributs de densité, de coût et de facteur de forme que nous recherchions.
La décision majeure pour cette plate-forme consistait à utiliser des disques SSD SATA / SAS ou des disques SSD NVMe. Les vendeurs avaient des plateformes dans des facteurs de forme intéressants qui pouvaient prendre les deux. Suivant le modèle de nos concurrents, nous avons examiné les systèmes axés sur le cloud comportant plusieurs serveurs dans un même châssis physique. Nous avons envisagé des options telles qu'un châssis 1U pouvant utiliser des disques SSD 12 SATA 2.5 ou des disques SSD 12 NVMe, avec deux nœuds de calcul au sein de ce châssis. Ou un châssis 2U pouvant utiliser des disques SSD 24 SATA ou 24 NVMe avec quatre nœuds de calcul dans un même châssis. Un seul 2U contenant quatre serveurs!
Contribution des clients et des fournisseurs partenaires
Pendant que nous examinions ces serveurs, demandions aux fournisseurs de passer par notre siège et apportions des échantillons pour inspection, nous parlions également à nos clients. Les clients sont notre champ magnétique, nous les avons donc choisis pour nous aider à construire la bonne solution. Commençant à créer une nouvelle plate-forme, en particulier une toute nouvelle catégorie de plates-formes, nous avons consulté nos clients, actuels et potentiels.
Soucieux de ne pas prendre de décisions dans une bulle, nous avons également consulté nos fournisseurs, qui sont des partenaires essentiels au succès d’une plateforme. Travailler avec les clients et les fournisseurs entraîne la création, la livraison et l'utilisation d'un produit qui améliore l'expérience de l'utilisateur final.
NVMe ou buste!
Un message très clair est ressorti de ces discussions : NVMe ou buste. NVMe est l'avenir du flash !
Étant donné que les disques SSD NVMe seraient bientôt à parité avec les disques SSD SATA, ils offriraient d’énormes avantages en termes de performances par rapport aux disques SATA / SAS. NVMe était le choix des vendeurs et de nos clients. Travaillant à la création d’une plate-forme tournée vers l’avenir avec une marge de manœuvre considérable, Qumulo cherche en permanence à déterminer les besoins en données dans les années à venir. En tant que tel, Qumulo a choisi de se lancer dans un avenir glorieux et de construire sa première plate-forme 100% flash sur la technologie NVMe SSD.
Cependant, lors de nos recherches sur l'utilisation de NVMe avec ce qui était disponible, nous avons découvert une déficience douloureuse.
Les plates-formes disponibles n'étaient pas basées sur l'architecture SkyLake, qui ne serait pas déployée via les différents fournisseurs de serveurs et de châssis avant un certain temps. Une norme, appelée Volume Management Device, pour gérer le remplacement à chaud des périphériques NVMe était en cours de développement et de lancement parallèlement à l'architecture SkyLake. Toutes les implémentations NVMe jusqu'à ce lancement technologique reposaient sur un logiciel propriétaire pour gérer le remplacement à chaud d'un périphérique NVMe.
En tant que startup logiciel, Qumulo dépense des cycles offrant de la valeur. Conséquemment, développer un logiciel ou modifier le noyau pour gérer la disparition soudaine et la réapparition d’un périphérique PCIe n’était pas une chose sur laquelle nous étions prêts à souscrire; Surtout quand une nouvelle technologie à l’horizon offrirait la fonctionnalité dont nous avions besoin, sans aucun frais.
Une opportunité différente pour l'équipe matérielle s'est présentée. Ainsi, bien que la technologie autour du swap à chaud NVMe ne soit pas complètement maîtrisée, nous avons mis cette plate-forme à l'abri pour qu'elle revienne plus tard lorsque nous pourrions offrir de la valeur client, et non au détriment d'autres fonctionnalités essentielles.
Le train quitte la gare
Six mois ont passé et la technologie présente désormais les fonctionnalités dont nous avions besoin. Nous avons considéré un certain nombre d'architectures. Intel venait de publier le Xeon évolutif (alias SkyLake) et les processeurs AMD EPYC étaient sur le point de sortir. Nous avons choisi Intel SkyLake en raison de la Nœud NUMA compter dans les processeurs AMD EPYC. (NUMA signifie Accès mémoire non uniforme.) L'effort de développement logiciel nécessaire pour gérer le nombre de domaines NUMA plus élevé n'aurait pas fourni une valeur adéquate à nos clients pour l'entreprendre.
Pour déterminer le processeur spécifique à utiliser, nous avons fait tester deux modèles en interne. Lors de la sélection de ce processeur, nous avons pris en compte la puissance de conception thermique (TDP) des processeurs, car nous savions que notre produit 2 % flash serait rapide, mais il ferait aussi chaud ! La capacité de refroidir un serveur 24U à l'aide de 2 périphériques NVMe U.25, chacun capable de dissiper 24 W de puissance, est un peu intimidante. Pour 25 disques, chacun avec une dissipation de puissance de 600 W, serait de XNUMX W, de manière réaliste, chaque disque avec une charge de travail d'écriture maximale ne consommera que la moitié de sa dissipation de puissance potentielle. Néanmoins, vous devez concevoir une marge de sécurité pour gérer les pics de consommation d'énergie inattendus et conformément aux spécifications des composants que vous utilisez.
En réalité, ces disques ne tireront jamais réellement 600W, mais vous devez en être sûr et disposer de la marge de sécurité nécessaire pour gérer des pics inattendus de consommation électrique. Comme il s’agissait de notre système le plus rapide, vous pouvez supposer que nous choisirions simplement le processeur le plus rapide disponible. Nous avons choisi un processeur offrant le meilleur rapport qualité-prix pour nos clients. Cela nous a conduit au processeur Intel Xeon Gold 6126, qui a un nombre de cœurs plus petit et une fréquence plus rapide que notre logiciel est en mesure de tirer parti, offrant ainsi la meilleure valeur à nos clients.
Au printemps 2017, nous discutions à nouveau avec les fournisseurs, examinant les différentes plateformes que nous pourrions transformer en NVMe XNUMX % flash solution souhaitée par nos clients. À ce stade, la solution de lame était encore une idée, nous avons donc examiné ce qui était disponible.
Nous avons identifié des contraintes concrètes du produit. Flash est cher et le coût était un facteur important. Pendant que nous fabriquions une Bugatti Veyron de produits de stockage, elle devait encore être vendue au prix de la Dodge Viper.
Il fallait être rapide, mais à quelle vitesse est-il assez rapide pour ravir nos clients?
Nous avions pour objectif de créer une boîte matérielle capable de plus de 4 Go / s par nœud pour la lecture multi-flux et disposant de beaucoup de marge de manœuvre pour se développer au fur et à mesure de notre ajustement. Nous avons choisi de viser 125K IOPS par nœud. Nous avions besoin d’environ 40TB par rack U pour fournir un produit convaincant que nos clients aimeraient. Nous nous sommes concentrés sur les options de plate-forme optimales et avons opté pour un prototype 1U et 2U afin que nous puissions mener des travaux de validation technique.
Nous avons testé le logiciel Qumulo sur les boîtiers prototypes et le tour est joué! Nous avions un produit 100% Flash complet mais pas encore vendable!
En raison de notre couche d'abstraction matérielle, nous pourrions modifier cette couche de code avec un minimum de modifications afin de fonctionner sur du matériel étranger en un rien de temps. Une autre victoire pour rendre notre logiciel agnostique.
Restez à l'écoute pour la deuxième partie de la série passionnante!
