Qumulo for AWS déplace les ensembles de données vers un cluster Qumulo sur AWS, les affiche dans des noeuds basés sur un nuage, puis les redirige vers un cluster Qumulo local. Ce flux de travail est celui auquel de nombreux clients de Qumulo sont régulièrement confrontés. J'aimerais partager certaines de mes connaissances en les aidant à accomplir cela avec vous.
Le problème
Trop souvent, lorsque vous effectuez un gros travail ou peut-être de nombreux emplois, il devient douloureusement évident que vous avez besoin de plus de ressources. Cette prise de conscience se produit généralement lorsque votre échéance se profile dangereusement à l'horizon. Que faire?
Essayez une version gratuite de Qumulo pour AWS
Calcul des nœuds de location par rapport au nuage, coût par rapport au temps
Il est assez simple de calculer le coût des nœuds matériels de location par rapport au temps de calcul / stockage sur un fournisseur de cloud. Il y a un seuil de rentabilité. Lorsque vous prenez en compte le temps nécessaire pour commander, livrer et empiler les nœuds, sans oublier le défi de trouver du matériel de location disponible, ainsi que suffisamment d'espace, d'alimentation, de mise en réseau et de refroidissement du centre de données, le cloud démarre sonner comme une très bonne alternative si la demande est suffisamment élevée. Alors, comment croyez-vous votre rendu sur le cloud? Il y a des passerelles d'objet, mais toutes les applications de rendu les plus couramment utilisées sont basées sur des fichiers et qui veut faire face à cette incompatibilité? Avec Qumulo pour AWS et certaines configurations, cela peut être fait!
https://qumulo.wistia.com/medias/716hfg21h7
Détermination de l'infrastructure
Essentiellement, vous souhaitez étendre la ferme de rendu physique (et toutes les infrastructures associées) au cloud. NFS / SMB sur une liaison WAN peut être très lente à cause de la latence. En revanche, une grappe de cloud capable de servir des fichiers localement aux nœuds de rendu du cloud est raisonnable. Les jeux de données peuvent être répliqués sur le cloud et les résultats sont rétrogradés. De toute évidence, différents niveaux de calcul sont disponibles dans le cloud et cela devrait figurer dans vos calculs de coûts. Payez plus pour un calcul plus rapide et plus puissant ou payez moins pour des ressources plus lentes et interruptibles.
Vous devriez également penser à définir un point de contrôle raisonnable dans vos rendus. Si vous choisissez un niveau pouvant être interrompu, le redémarrage des rendus à partir du dernier point de contrôle peut être facile ou difficile selon votre configuration.
Vous pouvez automatiser la configuration de vos ressources cloud avec des scripts ou des outils d'automatisation du déploiement. Il y a plein de paquets là-bas et rouler vous-même n'est pas si difficile.
Configuration correcte du VPN
Bien sûr, la sécurité est une préoccupation majeure, vous devez donc configurer correctement votre VPN. Cette connexion fournit la communication de commande et de contrôle aux nœuds cloud et leur permet d'extraire des licences à partir de votre serveur de licences sur site. OpenVPN est excellent et les clients sont facilement disponibles pour Linux et Windows. Certains pare-feu le supportent même nativement! Vous devrez distribuer des clés et des fichiers de configuration à chaque nœud cloud. Vous pouvez également restreindre la connectivité IP des instances cloud afin que seul votre réseau sur site puisse y accéder (et vice-versa: vous souhaitez que seules vos instances cloud accèdent à votre réseau).
Accéder au serveur de licences
Vous ne pouvez pas effectuer de rendu sans serveur de licences! Malheureusement, la plupart des licences (et des serveurs de licences) sont associées à une adresse MAC physique et vous en avez probablement déjà un ou plusieurs dans votre environnement. Créer une instance virtuelle dans le cloud est possible, mais vous obtiendrez une adresse IP et une adresse MAC différentes à chaque démarrage, ce qui est douloureux si vous devez obtenir de nouvelles licences. En utilisant un VPN, vous dirigez toutes les requêtes de licence du cloud vers votre infrastructure via un canal sécurisé. (Cela suppose que vous avez des licences flottantes disponibles pour les noeuds de rendu cloud.)
Utilisation du contrôle de file d'attente
Comment gérez-vous et contrôlez les rendus? Dans le passé, j'ai utilisé Délai, mais tout logiciel de gestion de files d'attente devrait fonctionner. La connexion VPN fournit une connectivité à votre gestionnaire de files d'attente pour les instances cloud et ils doivent apparaître en tant que clients réguliers (en supposant que vous installez tous les packages appropriés). Ici encore, les licences fonctionnent sur la connexion VPN. Il est judicieux de configurer un groupe distinct pour les nœuds cloud uniquement.
Utiliser la réplication
Comment obtenez-vous vos données vers et depuis le cloud? Avec Qumulo, la réplication est facile à configurer. Vous définissez le répertoire et démarrez ou planifiez le travail. Les données sont répliquées de manière transparente d'un cluster sur site à une instance de cloud de Qumulo. Encore une fois, ce trafic peut circuler sur la connexion VPN sécurisée.
Fais le!
Maintenant que l'infrastructure est en place, réalisons des scènes! Répliquez un ensemble de données à rendre depuis votre cluster sur site vers l'instance Qumulo for AWS. Les nœuds de rendu ont une exportation NFS (ou un partage SMB) montés à partir de l'instance cloud Qumulo et sont donc montés «localement» dans le cloud. Il va sans dire que vous voulez tous les nœuds de rendu et l'instance de Qumulo dans la même région. Lancez le gestionnaire de files d'attente et envoyez un travail aux noeuds cloud. Il devrait fonctionner de la même manière que les nœuds locaux. Une fois le travail terminé, répliquez les images résultantes dans votre cluster sur site.
Fermeture
Une fois le travail terminé, vous pouvez arrêter ou fermer le cluster Qumulo et rendre les nœuds. Si vous fermez les instances, elles ne généreront que des frais de stockage dans le cloud. Redémarrez le cluster la prochaine fois que vous aurez besoin de faire irruption dans le cloud. Vous pouvez également terminer le cluster et le réactiver lorsque vous en avez besoin.
Heureux rendu!
