Avengers: Infinity War – Jak umělá inteligence pomohla vytvořit CG Thanose

1 week ago by in VFX články Tagged: , , , , , , , , , , , , , , , , , , , , , , , ,

Marvel už zase trhá rekordy. Ať už si o záplavě jejich popcornovek zaměřených na masové publikum myslí kdo chce co chce, podařilo se jim něco, co tu v historii filmografie ještě nebylo. Obrovský provázaný svět plný hrdinů, jejichž osudy se napříč mnoha díly navzájem ovlivňují. Celá sága přitom už mnoho let směřovala právě sem – k událostem Infinity War, zpracovaným pod taktovkou bratří Russoových (Captain America: The Winter Soldier a Civil War). Dlouho očekávaný záporák Thanos konečně vstupuje do centra dění a není tedy lepšího kandidáta na článek o VFX než je tento fialový obr.

Thanos je samozřejmě full-CG charakter, dílo hned dvou studií, která sdílela assety – Weta Digital a Digital Domain. V dnešním příspěvku se na VFXcz podíváme na to, jak byl herecký výkon a podoba Joshe Brolina převedena do digitální formy, jak pomohla umělá inteligence a jak svalnaté tělo Chrise Hemswortha sloužilo jako reference pro dvou a půl metrového záporáka.

Spolupráce dvou gigantů

Sdílení dat mezi studii, která operují v jiných koutech zeměkoule, je samozřejmě náročné a ani v době internetové spolupráce se nejedná o běžnou praxi. Obě zmíněné firmy s tím však mají své zkušenosti, zvlášť na filmech od Marvelu. Weta sdílela s jinými firmami např. Rocketa v Guardians Vol. 2 (více v knize), Digital Domain zase v Homecoming spolupracovala na modelu Spider-Mana s Method Studios.

Do čela VFX prací se postavil overall supervizor Dan DeLeeuw (Captain America: The Winter Soldier a Civil War, Iron Man 3), který společně s produkcí z Marvelu zodpovídal za to, aby Thanos v každém ze záběrů vypadal stejně, ať už na něm pracovali lidé z Ameriky nebo Nového Zélandu. Supervizor neustále udržoval obě firmy v obraze o tom, co se komu z Marvelu líbí, jaký mají názor režiséři, na čem má které studio zapracovat, či co už je naopak cílová kvalita. Na obou studiích pak bylo, aby své pipeliny připravily na tento kolaborativní proces, začaly si předávat potřebná data a navzájem se od sebe učit.

Rozdíl mezi Thanosem od Wety a Digital Domain musel být nerozeznatelný – vlevo Weta, vpravo DD:

Josh Brolin v kůži Thanose

Josh Brolin s tracking markery na obličeji

O Medusa rigu jsem tu mluvil už mnohokrát, naposledy např. v článku o The Last Jedi či Warcraftu. Ve zkratce: jedná se o performance capture soustavu kamer, které jsou během snímacího sezení s hercem schopny zachytit jeho kompletní podobu včetně dat o tom, jak se pohybují obličejové svaly. Tyto pak specializovaný software umí sestavit do kompletní CG reprezentace, která slouží za základ digitálním charakterům. Do stejného zařízení vstoupil i Josh Brolin.

Na konci tohoto skenovacího procesu sice stojí skvělý základový model, herecký výkon se však zachycuje přímo na place. Tam Brolin nosil tradiční motion capture oblek, náhlavní kameru a tracking markery na nejdůležitějších bodech těla a obličeje. Tím se zajistilo, že byl každý jeho pohyb a výraz zachycen pro budoucí referenci v animaci. Kromě toho se pak režiséři rozhodli vzít Brolina po hlavním natáčení ještě do performance capture studia (viz obrázek níže), kde ho nechali zahrát klíčové scény filmu ještě jednou, samostatně a klidně i několika různými způsoby. Tady si mohl dát načas a na svém výkonu se skutečně vyřádit.

I takhle komorně mohl vypadat mocap Thanosovy role

Digital Domain a technologický pokrok

Obě dvě studia podnikla na poli tvorby CG charakterů v posledních letech obrovské pokroky. O pipeline ve Wetě dnes psát nebudu, věnoval jsem se jí např. zde. Posviťme si raději na Digital Domain. Ti jsou z dřívějška známí svou revoluční prací na The Curious Case of Benjamin Button a v poslední době třeba na Beauty and the Beast, kde se postarali o Beast. Na Infinity War nicméně zapojili v nebývalé míře svůj zcela nový systém: dvoufázový machine learning proces nazvaný Masquerade a Direct Drive.

Jedná se v podstatě o nejvěrnější možný způsob převedení výkonu herce na obličej digitální postavy. V mnoha předchozích článcích jsem psal, že referenční obličejová data z natáčení slouží animátorům často spíše jako inspirace a stejně nakonec musí výrazy animovat ručně. Masquerade a Direct Drive jsou řešením tohoto problému. Oba dva zapojují inteligentní počítačové procesy, které se dokáží ze shromážděných dat učit.

Masquerade bral 150 trackovaných bodů z hercovy tváře z placu a po několika převodech (a korekcích od animátora) je dokázal automaticky a velmi přesně přetransformovat na 40 000 animovaných bodů na digitální tváři. Tak vzniká reprezentace hereckého výkonu na CG verzi herce. Autoři v podstatě dokázali z low-resolution záznamu přímo z placu extrapolovat high-resolution data, jako by herec seděl usazen v Medusa rigu. Animaci pak mohli v DD navíc kdykoliv dál upravovat a vylepšovat.

Získaná data pak přebíral systém Direct Drive, který se rovněž s pomocí animátorů dokázal brzy naučit, jakým způsobem převádět získanou animaci na CG model Thanose. Záporák měl samozřejmě jiné proporce než Brolin, takže pravidla pohybu brady, úst, obočí či čela byla trochu jiná. Machine learning procesy pomohly tyto zákonitosti vyzkoumat – a zjistit, jak lze dostat jedno na druhé, aby herecký výkon zůstal co nejvěrnější předloze. Nespoléhali tedy na tradiční solve a re-targetting, tyto procesy probíhaly až druhotně, aby umožnily ruční úpravy na skeletonu. O tomto procesu jistě v budoucnu uslyšíme ještě mnohé, stejně jako o dalších VFX postupech, ve kterých zásadně vypomůže umělá inteligence.

 

Četné další výzvy

Ani tak samozřejmě tvorba Thanose nebyla procházkou růžovým sadem, vyvstalo množství dalších unikátních problémů. Například fakt, že záporák je celý fialový a množství scén, v nichž se objevuje, je nasvíceno oranžovým sluncem. „Když vložíte fialový objekt do oranžového prostředí, stane se šedým,“ vysvětluje supervizor Matt Aitken z Marvelu, „Na druhou stranu, když jsme shaderům přidali saturaci, Thanos působil příliš uměle.“ Nakonec si trikaři s tímto problémem poradili pomocí svícení. Po většinu filmu míří na postavu mnoho různobarevných světelných zdrojů, které tváři dodávají větší plasticitu. V Digital Domain vkládali pod texturu pokožky i jemné simulace protékající krve, Thanos má navíc nenápadné strniště, které pomáhalo prodat ho jako žijící, dýchající charakter.

Mikroskopické dataily na povrchu kůže přidávali v DD ručním sculptingem v ZBrushi, finální render pak probíhal ve V-Ray. Co se animace týče, tvůrci vycházeli z několika zdrojů. Klíčovou předlohou byl samozřejmě herecký výkon Joshe Brolina, kterého během natáčení neustále instruoval Terry Notary (pohybový coach hollywoodských filmů, známý např. díky pohybům Na’Vi z Avatara, opic z Planet of the Apes či skřetů z The Hobbit). Hercovy pohyby však nešlo jen nalepit na obrovského Thanose.

Zde tedy ve větší míře přišla na řadu animátorská invence, kdy jednotliví tvůrci neustále upravovali rychlost a váhu záporákových pohybů, dodávali sekundární animace a snažili se s každým pohybem rukou a natočením torsa vystihnout Thanosovu povahu. Je to v podstatě nejmocnější stvoření ve vesmíru, nemohl tedy jen tak stát uprostřed záběru jako špalek. Schválně si tedy všimněte, že ve většině záběrů neustále pohybuje rukama a nohama a nenápadným způsobem protahuje svaly. Jako reference těchto pohybů animátorům prý sloužil Chris Hemsworth v roli Thora. Ten byl na place často s odhaleným torsem a nevědomky tak fungoval jako skvělá anatomická reference toho, jak pohybující se svaly kloužou pod kůží…

Zdroje: CartoonBrew, FXGuide, Art of VFX

 

Podobné články

Freelance filmař, trikař a grafik. Cinematic Director ve Warhorse Studios. Redaktor bývalého časopisu Pixel a tvůrce VFXcz.