De face-tracking-mogelijkheden van Quest Pro zullen snel worden gebruikt om Meta’s avatars expressiever te maken, maar avatars van de volgende generatie zullen veel meer profiteren van de nieuwe technologie.
Een van de grote nieuwe functies van Quest Pro is een face-tracking-systeem dat interne camera’s gebruikt om de beweging van je ogen en sommige delen van je gezicht waar te nemen. Gecombineerd met een kalibratievrij machine learning-model, neemt de headset wat hij ziet en verandert het in input die de animatie van elke avatar kan aansturen.
Update (18 november 2022): Meta heeft heeft het Aura face-tracking-voorbeeld vrijgegeven waarmee ontwikkelaars kunnen experimenterensamen met drie andere ontwikkelaarsvoorbeelden met betrekking tot de ‘Movement SDK’ die ontwikkelaars een basis geeft voor het maken van expressieve avatars met eye-, face- en body-tracking.
Op korte termijn zal dit worden gebruikt met de bestaande avatars van Meta. En hoewel het ze zeker expressiever maakt, zien ze er nog steeds een beetje maf uit.
Dit is waarschijnlijk het gevolg van het feit dat het huidige Meta-avatarsysteem niet is gebouwd met dit niveau van face-tracking in gedachten. De ‘rigging’ – het onderliggende animatieframework van het model – lijkt niet helemaal geschikt voor de taak. Het enten van de face-tracking-invoer van Quest Pro op het huidige systeem doet niet echt recht aan waartoe het werkelijk in staat is.
Key Quest Pro-dekking:
Quest Pro onthuld – Volledige specificaties, prijs en releasedatum
Quest Pro Review – Indrukwekkende hardware met een waardevoorstel dat nogal een puinhoop is
Quest Pro Technische Analyse – Wat is veelbelovend en wat niet
Touch Pro-controllers onthuld – ook compatibel met Quest 2
Gelukkig heeft Meta een technische demo gebouwd die laat zien wat er mogelijk is wanneer een avatar is ontworpen met Quest Pro’s face-tracking in gedachten (en wanneer bijna alle verwerkingskracht van de headset wordt gebruikt om het weer te geven).
Ja, het is nog steeds een beetje wankel, maar elke beweging die je hier ziet, wordt aangedreven door de gebruiker die dezelfde bewegingen maakt, inclusief dingen als het opblazen van de wangen of het bewegen van de mond van de ene naar de andere kant. Over het algemeen is het een veel completere weergave van een gezicht waarvan ik zou beweren dat het erin slaagt de griezelige vallei niet binnen te gaan.
Ik mocht deze demo zelf uitproberen in mijn recente hands-on met Quest Pro, waar ik in de spiegel keek en verscheen als dit personage (dat Meta Aura noemt). Ik was echt onder de indruk dat, zelfs zonder speciale kalibratie, het gezicht dat ik in de spiegel zag, alle bewegingen leek na te bootsen die ik maar kon bedenken om met mijn gezicht te maken.
Ik werd vooral aangetrokken door de details in de huid. Als ik mijn ogen tot spleetjes kneep en mijn neus optrok, kon ik de huid eromheen realistisch zien samenklonteren, en hetzelfde gebeurde toen ik mijn voorhoofd optrok. Deze subtiele details, zoals de plooi in de wangen die met de mond meebeweegt, dragen echt veel bij aan de indruk dat dit niet alleen een object voor me is, maar iets waar een levend wezen achter zit.
Of de uitingen er daadwerkelijk uitzien of niet mij wanneer ik degene ben achter het masker is een andere vraag. Omdat het gezicht van deze avatar niet overeenkomt met het mijne, is het eigenlijk moeilijk te zeggen. Maar dat zijn de bewegingen tenminste plausibel realistisch is een eerste belangrijke stap naar virtuele avatars die natuurlijk en geloofwaardig aanvoelen.
Meta zegt dat het de Aura-demo zal uitbrengen als een open source-project, zodat ontwikkelaars kunnen zien hoe ze de face-tracking-invoer aan de avatar hebben gekoppeld. Het bedrijf zegt ook dat ontwikkelaars een enkele toolset kunnen gebruiken voor het besturen van humanoïde avatars of niet-menselijke avatars zoals dieren of monsters zonder dat ze elke avatar afzonderlijk hoeven te tweaken.
Meta zegt dat ontwikkelaars gebruik kunnen maken van een face-tracking API die waarden gebruikt die overeenkomen met FACS, een algemeen erkend systeem voor het beschrijven van de beweging van verschillende spieren in het menselijk gezicht.
Dit is niet alleen een effectief systeem voor het weergeven van gezichten, maar het vormt ook een nuttige privacybarrière voor gebruikers. Volgens Meta kunnen ontwikkelaars eigenlijk geen toegang krijgen tot de onbewerkte afbeeldingen van het gezicht van de gebruiker. In plaats daarvan krijgen ze een “reeks nul-op-één-waarden die overeenkomen met een reeks generieke gezichtsbewegingen, zoals wanneer je je neus optrekt of je wenkbrauwen fronst”, zegt Meta. “Deze signalen maken het voor een ontwikkelaar gemakkelijk om de semantische betekenis van de oorspronkelijke beweging van de speler te behouden bij het toewijzen van signalen van de Face Tracking API aan hun eigen personage-installatie, of hun personage nu humanoïde is of zelfs iets fantastischers.”
Meta beweert dat zelfs het bedrijf zelf de beelden die zijn vastgelegd door de camera’s van de headset, zowel intern als extern, niet kan zien. Ze worden op de headset verwerkt en vervolgens volgens het bedrijf direct verwijderd, zonder ooit naar de cloud of naar ontwikkelaars te worden gestuurd.
