Een klassiek probleem

Laten we van start gaan met kleurmenging, wat een gemeenschappelijk probleem vormt in de computergrafische wereld (voor de niet ingewijden, kleurmenging is een effect dat het weerkaatsen van diffuus licht tussen objecten simuleert, zoals een rode muur rood licht weerkaatst op de aangrenzende witte ondergrond, zoals zichtbaar in onderstaand voorbeeld). Kleurmenging is altijd één van de invloedrijkste methoden in CGI geweest, omdat het gebruikt kan worden om hyperrealistische beelden te renderen.

Door de jaren zijn een aantal methoden om soortgelijke effecten te creëren bedacht, maar ondanks deze methoden is er nooit één geschikt bevonden voor gebruik in filmproducties.
Beroemd zijn de drie belangrijkste technieken om kleurmenging te creëren. De
eerste methode is het simpelweg ‘vervalsen of nabootsen’, door in een scène
lichten te plaatsen die het diffuus licht dat tussen objecten weerkaatst simuleren waardoor artistiek gezien het effect wordt vervalst. Deze methode is niet
nauwkeurig, er steekt veel tijd in de opzet en het is niet praktisch voor scènes met meerdere objecten en geavanceerde topologie. Echter voor simpele scènes waarin kleurmenging gemakkelijk vervalst kan worden is het een ideale methode om het effect te renderen.
Ray tracing en radiosity technieken maken deel uit van de andere twee methoden
en zijn beide processen waarbij duizenden op duizenden lichtstralen (bij ray tracing) worden opgevangen of het calculeren van duizenden op duizenden lichtbronnen (bij traditionele radiosity) om de verplaatsing van het licht in een scène te bepalen.
Beide methoden zijn simpel van opzet en creëren fysiek gezien nauwkeurige resultaten, maar geen van deze technieken wordt in grote filmproducties gebruikt. Ondanks het feit dat ray tracing en radiosity prachtige resultaten kunnen voortbrengen, wegen de overhead in geheugen- en computergebruik in de daadwerkelijke productie, zwaarder mee. Voor productiegerelateerde datasets zijn bovengenoemde methoden qua inzetbaarheid niet praktisch of beter gezegd bijna onmogelijk.

Een pioniersgedachte

In 2004 kwam uit onverwachte hoek; het vakgebied van real-time renderen, een compleet nieuw idee. Een idee gebracht door Michael Bunnel van de NVIDIA, in GPU GEMS 2, waarin hij een hoofdstuk van zijn artikel wijdt aan zijn methode om real-time ambient occlusion (het blokkeren van het omgevingslicht door andere objecten) te genereren, zonder het gebruik van ray tracing maar door de calculaties te schatten vanuit een eigenschap dat een point cloud genoemd wordt.

Dit pioniers idee was een reden voor Per Christensen, senior RenderMan ontwikkelaar bij Pixar, om te onderzoeken en na te gaan hoe deze ideeën in de RenderMan van Pixar geïmplementeerd konden worden aan de hand van point-based workflow die oorspronkelijk ontwikkeld zijn voor het berekenen van het begrip subsurface scattering. In de beginfase werkte Christensen samen met Rene Limberger van Sony, die point-based rendering bij de preproductie tests van de film Surf’s Up integreerde. Om deze technieken te perfectioneren werkte Christensen in een later stadium samen Christophe Hery van ILM, laatstgenoemde implementeerde de technieken op Pirates of the Caribbean: Dead Man’s Chest. Het werd al gauw duidelijk dat deze technieken van wezenlijk belang waren voor het renderen van films. Hiermee heeft Bunnell met dat ene hoofdstuk een ware revolutie ontketend in de wereld van CGI en speelfilms op basis van point-based rendering.
Met Pirates of the Carribean heeft Hery grote successen geboekt door de toepassing van point-based rendering. In eerste instantie bleek uit tests dat het gebruik van de nieuwe manier van point-based ambient occlusion de rendertijd bij occlusion daalde van tien naar twee uur. En wat helemaal briljant was dat het toevoegen van kleurmenging van wezenlijke meerwaarde was omdat belichting direct in een point cloud kon worden in gebakend. Een significante doorbraak, want voorheen bleek kleurmenging onmogelijk te zijn in veeleisende scènes. Met een aantal standaardinstellingen kon het schaduw- en belichtingsteam van ILM alle personages migreren en bewapenen met de nieuwe point-based rendering methoden om de ambient occlusion, kleurmenging en beeld gerelateerd licht te calculeren. Deze schaduw- en belichtingsinstellingen hebben Davy Jones en zijn bemanning zo succesvol op het grote doek kunnen portretteren.
Per Christensen was zeer onder de indruk van Hery’s inspanningen: “Het is angstaanjagend goed te zien hoe snel Christophe in staat was het in hun informatiebron te integreren!” Niet lang hierna heeft Christensen zijn implementatie van prototype DSOs tot gebruiksklaar product gebruikt voor de RenderMan van Pixar om zo de prestaties en nauwkeurigheid te verbeteren en deze uitbreiden op basis van de productie aanvraag van ILM, Sony en andere filmstudios.
Tot op dat moment had Pixar geen gebruik gemaakt van point-based kleurmenging tijdens het productieproces, maar stond het op de vooravond van de grote verandering met de film van Pete Doctor, Up. Het bleek vrij eenvoudig te zijn om de point-based kleurmenging methoden in de geavanceerde informatiebron van Pixar te integreren. Het is zelfs zo dat voor ruim 90% van de scènes in de film de nieuwe techniek gebruikt is. De definitieve versie van Up is tot stand gekomen door deze nieuwe gebruiksklare feature. De technieken van point-based rendering zijn significant omdat zij een bijzonder efficiënt alternatief zijn om kleurmenging en andere effecten te renderen wanneer vergeleken met ray tracing en radiosity. Daarbij zouden de subtiele lichteffecten in Up niet mogelijk zijn geweest zonder point-based rendering. Het is een techniek dat op efficiënte wijze een klassiek probleem van CGI kan oplossen, wat geweldig is, maar hoe werkt het?

Een kijkje binnenin

Laten we met de point clouds beginnen. Kort gezegd is een point cloud precies zoals de naam het zegt; een wolk van eigenschappen in de 3D ruimte, dat bij elk uiteinde een of meerdere kanalen data (belichting, blokkering, gebied etc.) bezit. Point clouds zijn voor meerdere doeleinden, naast point-based rendering van belang omdat zij gemakkelijk en gebruiksvriendelijk van structuur zijn bij 3D texturen. En de RenderMan van Pixar heeft een zeer efficiënte wijze gevonden om point clouds te genereren door het gebruik van REYES algoritme en geometrische dobbelstenen. RenderMan kan gemakkelijk een eigenschap toevoegen aan de point cloud, dat de locatie en andere data van een specifieke eigenschap bevatten. Links ziet u een voorbeeld van hoe een standaard point cloud er uitziet.

De wereld van Point-Based rendering

Zoals eerder aangekaard was het doel van Michael Bunnell om ray tracing en radiosity in het geheel te vermijden en volledig op een point cloud format te vertrouwen. Hoe kunnen we dan occlusion (blokkering) en kleurmenging aan deze methode toevoegen? Genomen van uit RenderMan moeten enkel nog twee stappen genomen worden: Allereerst, moet een prepass een point cloud van een geometrische scène genereren en het belichtingsproces dat informeel “baking a point cloud (het bebakenen van een point cloud)” genoemd wordt. Elke eigenschap bevat data over het micropolygonisch gebied en zijn ondergrond. Zodra deze data gegenereerd is kan het opgeslagen en hergebruikt worden. Een ander pluspunt van point-based rendering is dat calculaties van kleurmenging, doordat shaders alleen op gang komen als de kleuren zijn gebakend in een point cloud, bijna net zo snel draaien als bij occlusion en dit is een significante tijdsbesparing waar bij ray tracing geen sprake van is. Het enige is wel dat wat de algoritme nodig heeft is dat het bebakende eigenschap de straling bij elk punt (oppervlakte en belichting) moet bevatten. Gelet op het feit dat de eigenschappen gebruikt worden om geometrische primitieven in een scène te schatten, wat een efficiëntere calculatie geeft tegenover het trachten om een lichtstraal te achterhalen in plaats van de daadwerkelijke geometrie in de scène te achterhalen.

De tweede stap vindt plaats bij rendertijd, wanneer door de shaders in een geometrische scène naar het gebakende point cloud refereren om het point-based effect te calculeren. Al deze eigenschappen zijn op dat moment door een harde schijf ingeschat.
Het is gemakkelijk om de analytische kleur en occlusion inbreng te berekenen vanaf een harde schijf zonder gebruik te hoeven maken van ray tracing. Om de efficiëntie te behouden worden afzonderlijke harde schijven, die op zichzelf weinig aan het algehele resultaat toevoegen, geclusterd en als een eenheid beschouwd. De calculatie van de onderlinge schijf occlusion berekenen ook het gemiddelde non-blokkering norm wat gebruikt wordt voor een omgevingsonderzoek bij beeldgerelateerde belichting.

Dit is overeenkomstig met de functionaliteit bij ray-traced occlusion. Een aanvullend pluspunt van point-based rendering is dat calculaties van kleurmenging bijna net zo snel berekend kunnen worden als occlusion doordat shaders alleen draaien op het moment dat de kleuren in een bepaalde eigenschap gebakend zijn.

Tijdens de prepass heeft Pixar point clouds gecreëerd voor zowel key light (waarbij de focus wordt gelegd op objecten) als fill light (hier ligt de focus op het oppervlak als geheel). Key light

Prestatie

Onderstaande beelden tonen de kwaliteitsvergelijking van lichtgetraceerde occlusion versus point-based geschatte occlusion. Het verschil is bij een eerste zicht niet groot, maar een subtiele diepgang is zichtbaar in de gebieden waar veel occlusion is van het point-based plaatje. Het grote verschil ligt echter in het feit dat voor deze subtiele diepgang van het beeld bij de point-based methode de rendering krap acht keer sneller is en met het gebruik van een fractie van het overheadgeheugen.

Voor- en nadelen De pluspunten van point-based geschatte GI zijn: * Geluidsvrije beelden – hoge aan ray tracing gerelateerde artefact frequentie wordt vermeden. * Snellere berekeningtijd – van 4x tot 10x snelheid versus lange scènes bij ray tracing. * Kleurmenging en beeld gebaseerde belichting (inclusief HDRI ondersteuning) – bijna net zo snel als ambient occlusion. * Minder geheugenverbruik – geometrie hoeft bij ray tracing niet zichtbaar te zijn. * Verschuifbare oppervlakten – er staat geen schade op het renderen van verschuivingen, een groot voordeel dat ray tracing niet heeft. * Lichten en objecten kunnen gemakkelijk toegevoegd worden of niet bij berekeningen Enkele nadelen: Het effect kan soms teveel occlusion en kleurmenging berekenen, doordat de eigenschappen gebruikt worden om een schatting van de daadwerkelijke geometrische scène te maken. Dit kan tot te donkere delen leiden door occlusion of sporadische kleurmenging van verborgen oppervlakten.

De toekomst van point-based rendering bij Pixar Point-based rendering technieken zijn een welkome toevoeging bij de schaduw- en belichtinginformatiebron van Pixar en omdat deze zo’n succes gebleken zijn bij Up, worden zij momenteel intensief bij alle producties gebruikt. Point-based rendering technieken worden bij gecompliceerde scènes gebruikt, scènes waarbij heel veel sprake is van geometrie en verschuifbare schaduwen. Let wel, point-based rendering is niet het antwoord op alles, maar is een middel dat voor de kers op de taart van het werk van technische regisseur zorgt. Bij Pixar bepaalt de TDs belichtingverantwoordelijke welke redering features voor welke scène het meest geschikt is. Kleurmenging kan waar mogelijk nog altijd vervalst of nagebootst worden, maar wanneer een scène complex genoeg is zal point-based kleurmening worden toegepast. Neem het voorbeeld van ambient occlusion, zowel point-based rendering als ray tracing worden door Pixar gebruikt om dezelfde effecten te creëren, maar de specifieke details bepalen welke methode het best gebruikt kan worden. Het absolute voordeel van point-based rendering is de mogelijkheid om algehele belichtingseffecten van een scène te renderen die anders simpelweg niet gecreëerd kunnen worden. Momenteel worden er bij Pixar de meest gecompliceerde scènes gerendered die meer dan 20 uur in beslag nemen en point clouds van ruim 300 gigabytes genereren. Deze beelden zouden er zonder point-based rendering onmogelijk zo hebben uitgezien.

Beheersbaar

Een van de belangrijkste pluspunten van point-based rendering technieken is dat zij beheersbaar zijn doordat zij niet belemmerd worden door het gedrag van natuurlijk licht, wat bij ray tracing en radiosity methoden wel het geval is. Bij Pixar worden point clouds gegenereerd op basis van een beperkt aantal lichten of specifieke geometrie om op deze manier het efficiënte gebruik van geheugen en middelen en het beste resultaat te behouden.

Belangrijk om nog te vermelden is dat het effect perfect gepositioneerd kan worden. Een voorbeeld hiervan is dat in sommige scènes enkel het beeld direct voor de camera point-based kleurmenging nodig heeft. Het effect dat verder van de camera afstaat is niet zichtbaar, waardoor met deze geavanceerde manipulatie de point cloud alleen de objecten die het dichtst bij de camera staan hoeft toe te voegen en kunnen de resterende geometrie van de scène worden weggelaten. Door de complexiteit van bepaalde scènes kunnen de point clouds nog altijd ruim 300 gigabyte genereren, iets dat voor een vergelijkbaar effect en datasets niet mogelijk is met ray tracing en radiosity methoden, omdat deze hogere geheugenverbruikkosten hebben.

Belichtingsgemak

Bij Pixar wordt point-based kleurmenging vaak gebakend en hergebruikt door het gebruik van licht. De belichtingsintensiteit aanpassen kan het makkelijker maken om lokaal het algehele belichtingseffect te controleren omdat het gewone licht, halfschaduw, gobos (metalen of glazen dia die in de ruimte geprojecteerd wordt) en andere lichtattributen niet aanvullend ingezet hoeven te worden. Het gevolg hiervan is dat het betrekken van point-based rendering in de informatiebron van Pixar zonder poespas verliep aangezien het bekende workflows bevatte. TD gedraagt zich als elk ander licht.

Het laatste punt

Deze point-based technieken worden nu door de gehele industrie gebruikt. Zoals Per Christensen signaleerde: “Point-based kleurmenging is voor ruim 30 films gebruikt. En het lijkt erop dat kleurmenging zich ook eindelijk een weg gebaand heeft naar de standaardproductie informatiebronnen van het merendeel van de grote filmstudios. Wat betekent dat films een nieuwe niveau van realisme kunnen bereiken.”

Point-based rendering is een handige techniek om kleurmenging en ambient occlusion te creëren in speelfilmproducties, omdat het niet kampt met de belemmeringen die inherent zijn aan ray tracing en radiosity methoden. Sommige scènes zijn te complex om ray tracing toe te passen en voor zulke complexe scènes is point-based rendering de enige mogelijkheid. Met de directe implementatie van deze techniek in RenderMan van Pixar, biedt het regisseurs al de mogelijkheid om films te creëren van niet eerder geziene realisme, kwaliteit en complexiteit.

Het is zeker iets waar u ons in de toekomst meer zal over horen vertellen!!

Onderschrift bij afbeeldingen: alle afbeelding ter beschikking gesteld door Pixar
Originele tekst: Nils O Sandys, cgsociety.org