Le voyage de FuseFX vers le cloud hybride avec Qumulo

L'innovation dans le cloud résout le problème de capacité insoluble de FuseFX

Aujourd'hui, les trois sites de FuseFX produisent simultanément plus de programmes de télévision 60, en plus de divers projets commerciaux et de longs métrages. La société a fourni des effets visuels à tous les grands studios sur des productions telles que American Horror Story, Les agents du SHIELD de Marvel et The Tick.

Jason Fotter, co-fondateur et CTO chez FuseFX, est très conscient des défis liés à la construction et à l’exploitation d’une ferme de rendu. «Pour moi, cela a été un processus« apprendre au fur et à mesure ». J'ai été surpris plusieurs fois par la croissance de l'entreprise. La quantité d'énergie et de chaleur générée par une ferme de rendu et l'infrastructure nécessaire pour la transporter sont énormes », a-t-il déclaré.

«J'ai découvert au fil des années que, quelle que soit la taille de votre ferme, vous pouvez facilement la submerger à tout moment. Plus vous en avez, plus vous en utiliserez. Le problème se pose lorsque vous êtes confronté à une livraison et que le temps n’est pas de votre côté. Nous devons pouvoir agir rapidement à ce moment-là, ce qui est difficile à faire avec une infrastructure physique. L'alimentation, le refroidissement et l'espace physique sont des ressources finies qui limitent vos possibilités. "

Une contrainte constante est que les émissions de télévision épisodiques ont des délais serrés. «Nous avons deux ou trois semaines pour terminer notre travail [avec la télévision épisodique]. Les longs métrages ont six mois à un an ou plus. Les publicités définissent leurs propres horaires. La télévision est un processus de barattage. Vous avez vos photos, vous avez deux ou trois semaines pour les réaliser, et vous êtes en plein épisode, le prochain épisode, la même chose, le prochain épisode, la même chose. C'est vraiment rapide », a commenté Fotter.

En raison de calendriers rigoureux, le succès peut engendrer ses propres problèmes. Même la location d’équipement peut ne pas être une solution réalisable. Lors de la prise en compte du temps nécessaire pour commander, livrer, empiler et empiler les nœuds; le défi de trouver du matériel de location disponible; Pour trouver suffisamment d'espace dans le centre de données, d'alimentation, de réseau et de refroidissement, il peut sembler qu'il n'y a pas de réponse - à moins qu'une entreprise ne commence à s'intéresser au cloud.

«Avant le cloud, je ne sais pas s'il y avait une solution. Co-implantation vraiment coûteuse, ou un autre scénario fou, mais le cloud a commencé à devenir un moyen raisonnable pour nous de réaliser certains de nos travaux de rendu les plus urgents », a déclaré Fotter.

Qumulo active le flux de travail sur les fichiers que FuseFX recherchait dans le cloud public

À la fin de 2016, Fotter savait que Bracket Computing n'était plus une option et il commença à chercher des alternatives. «J'étais vraiment concentré sur le prix et la performance. Qui avait les fonctionnalités que nous recherchions? Qui voulait développer une relation avec nous dans le rendu VFX? Je pensais que notre processus était vraiment innovant et je voulais quelqu'un qui ressentait la même chose. "

Alors qu'il évaluait ses options, Amazon a acheté Thinkbox, le créateur de Deadline, un logiciel qui gère les pipelines de rendu. FuseFX utilisait déjà Deadline dans le cloud et AWS recherchait un tel client. Fotter savait donc qu'il avait trouvé le partenaire que FuseFX recherchait.

L'un des objectifs de Fotter et de FuseFX était d'étendre la ferme de rendu virtuel. Avec la solution Bracket, Fotter exécutait une seule instance Linux hautement puissante sur AWS, mais l’architecture de stockage ne pouvait gérer plus de machines virtuelles 200 à 300.

Fotter savait qu'il avait besoin d'un stockage en cluster rapide s'il voulait exécuter plus d'instances. «Nous avons eu toutes sortes d'idées. Nous avons envisagé de tirer parti de S3 et de tout synchroniser sur les machines locales, mais cela ne correspondait pas à notre façon de travailler. Nous avons parlé à Avere à plusieurs reprises, mais ils sont très centrés sur NFS et nous sommes un magasin Windows. Rien ne frappait vraiment la marque pour exactement ce que je cherchais. "

FuseFX avait déjà un cluster Qumulo sur site. Fotter avait parlé à Qumulo de son besoin d'une solution basée sur le cloud, et lorsqu'il a appris que l'entreprise proposait son logiciel sur AWS, il a sauté sur l'occasion de l'essayer. Cloud Q de Qumulo sur AWS exploite Amazon EC2 et EBS; le; L'équipe a expérimenté une seule instance dès le début et a aimé ce qu'elle a vu, donc lorsque le cluster à quatre nœuds est devenu disponible, Fotter était prêt à l'intégrer dans son flux de production.

FuseFX met sa solution à l'épreuve ultime tout en rendant The Tick

Le cluster Qumulo a été mis à l’épreuve lorsque la société travaillait sur un épisode de The Tick. «Notre processus est que les gens travaillent pendant la journée, soumettent leurs travaux, puis nous rendons du jour au lendemain», a décrit Fotter. «Lorsqu'ils arrivent le lendemain, ils regardent les cadres, évaluent où ils en sont, et l'envoient à la tâche suivante, ou ils peuvent décider qu'ils ont besoin de re-rendre quelque chose.

«Et encore une fois, nous n’avons que deux à trois semaines pour un seul épisode. Nous commençons souvent un projet proche de la livraison des premiers épisodes. Nous n'avons pas beaucoup de temps à perdre. Si nous avons un problème, c'est toujours un problème critique. Nous sommes venus un matin et avons découvert qu'il y avait eu des problèmes du jour au lendemain. Il doit y avoir eu des travaux 50 en file d'attente qui n'ont pas rendu une seule image. Le niveau de stress de l'équipe de production était assez élevé à ce moment-là. Nous avions ciblé les machines 1,000 en tant que cible maximale en termes de capacité. Je savais qu'un moment viendrait où nous voudrions éclater si haut, et il était évident que c'était maintenant. Chaque instance EC2 Spot était constituée de cœurs 32. Il s’agit donc de cœurs 32,000 à la fois! ”

«J'ai dit à mes lutteurs de rendu que s'ils avaient un cadre à restituer, activez un nœud pour cela. Juste le faire. Nous savions qu'avec Qumulo, nous serions en mesure de prendre en charge ce type de débit. Et nous l'avons fait. Nous avons rendu les images dans le nuage et les avons restaurées sur site. Nous avons rendu le rendu si rapidement que le goulot d’étranglement a été de récupérer les images de notre cluster cloud. ”

«Nous nous sommes sauvés. C'est la preuve réelle que la solution fonctionne. Il est impossible d'installer des machines 1,000 sur notre réseau ici. Je n'ai pas le pouvoir ou le refroidissement pour les soutenir. Nous avons pu prendre la décision et, en moins d’une heure, effectuer le rendu sur des machines 1,000. Une fois les travaux terminés, nous avons simplement mis fin aux instances. Quand je pense à quel point c'était facile, ça n'a toujours pas l'air réel.

L'utilisation intelligente des applications permet de faire chanter l'infrastructure de FuseFX

Outre Qumulo, le pipeline FuseFX utilise les instances ponctuelles EC2 pour une informatique évolutive et peu coûteuse, Deadline pour la gestion des files d'attente et la gestion des offres pour les instances ponctuelles, la licence UBL (utilisation basée sur l'utilisation) de Thinkbox Marketplace pour une licence flexible et le rendu V-Ray pour le rendu.

«Si vous épuisez vos licences locales, vous pouvez acheter des licences à la minute ou à l’heure pour Deadline et V-Ray. Une fois que votre limite de licence locale est atteinte, le logiciel envoie ces demandes au magasin, surveille l'utilisation et déduit de cette heure. C'est comme une carte de visite. Vous achetez une carte avec une heure d'appel et chaque appel effectué en est déduit. ”Tout est coordonné par le serveur local, qui est connecté aux instances de cloud via un VPN.

Une fois synchronisé avec le cluster Qumulo dans AWS, le rendu peut avoir lieu simultanément et dans le cloud. Une machine locale peut, par exemple, prendre la première image et un nœud de nuage peut prendre la deuxième image. Date limite gère la distribution pour que le cloud soit simplement une extension de la ferme de rendu sur site.

FuseFX travaille toujours sur l'automatisation. «Nous utilisons une AMI personnalisée dotée d’une automatisation interne. Pour cela, nous utilisons CloudFormation. Il se met sur le réseau, monte le stockage Qumulo, configure les esclaves de date limite et quelques autres choses. À l'heure actuelle, nous démarrons et terminons les instances de Qumulo manuellement », a déclaré Leslie.

«Si nous avons un calendrier à long terme pour lequel nous savons que nous n’allons pas utiliser Qumulo, nous le résilions et nous en informons l’équipe de support Qumulo. Nous avons appris que nous devrions leur dire quand nous l'éteignons, car ils le surveillent si bien que sinon, lorsque nous le résilions, les gens commencent à m'appeler pour me dire que mon cluster cloud est en panne. "

L'importance d'un flux de travail bien orchestré

Fotter a beaucoup appris depuis que FuseFX a commencé à utiliser le cloud. «Trouver le bon flux de travail est le plus gros défi. Le rendu est compliqué et les effets visuels sont un processus intrinsèquement inefficace. Plus vous améliorerez l'efficacité du flux de travail, mieux vous irez », a-t-il déclaré.

«La solution du problème de la synchronisation des données est la partie la plus difficile, car les travaux de rendu requièrent de nombreux actifs, textures, géométrie, caches de simulation et autres éléments indispensables à la création de l'image finale. Lorsque vous effectuez un rendu dans le cloud, s'il vous manque une petite texture et que le rendu du travail est incorrect, vous perdez tout cet argent. Nous avons traversé ces douleurs.

«Nous avons appris à nos dépens, mais le fait d’être impliqué dans le processus et de savoir que vous pouvez créer une solution a toujours été ma priorité. Donc, pour résumer, mon conseil est de le tester. Élaborez un plan, testez-le, engagez-vous et comprenez vraiment votre flux de travail du début à la fin. "

En fin de compte, fichier, pas objet, est la clé du processus d'effets visuels

Fotter a également affirmé l'importance des données basées sur des fichiers pour son flux de travail. «Ce serait bien de pouvoir utiliser le stockage d'objets, mais nous n'avons dans notre environnement aucun produit qui l'utilise. Cela n'a pas de sens. Nous sommes un flux de travail basé sur des fichiers. C'est ainsi que fonctionne le processus d'effets visuels. Nous avons une grande quantité de fichiers sur un système de fichiers. Nous les lisons. Nous les tirons dans nos applications. Nous travaillons sur eux. Nous faisons notre travail créatif et nous créons plus de fichiers. "

«Les fichiers constituent un moyen d'échange entre des applications qui n'ont pas nécessairement été écrites par la même entreprise. Comment obtenez-vous quelque chose du package d'animation dans le package de rendu? Ce sont deux disciplines différentes, deux domaines d’intervention différents. Vous devez donc créer des flux de travail qui s’intègrent entre les applications, et un fichier est le moyen de le faire. »

«Il s'ensuit que sans un système de fichiers hautes performances dans le cloud, notre flux de travail serait impossible. Qumulo est à la base de notre solution de stockage AWS. Sans cela, nous ne serions pas en mesure d’accroître notre capacité. »