Kasvojen liikkeen sieppaus - Facial motion capture

Kasvojen liikkeen sieppaaminen on prosessi, jolla ihmisen kasvojen liikkeet muunnetaan elektronisesti digitaaliseksi tietokannaksi kameroita tai laserskannereita käyttämällä . Tätä tietokantaa voidaan sitten käyttää tuottamaan tietokonegrafiikkaa (CG), tietokoneanimaatiota elokuville, peleille tai reaaliaikaisille hahmoille. Koska CG-hahmojen liike on peräisin todellisten ihmisten liikkeistä, se johtaa realistisempaan ja vivahteikkaampaan tietokonemerkkianimaatioon kuin animaatio luotu manuaalisesti.

Kasvojen liikkeen sieppaustietokanta kuvaa näyttelijän kasvojen vertailupisteiden koordinaatit tai suhteelliset sijainnit. Sieppaus voi olla kaksiulotteinen, jolloin sieppausprosessia kutsutaan joskus " lausekkeen seurannaksi", tai kolmessa ulottuvuudessa. Kaksiulotteinen sieppaus voidaan saavuttaa yhdellä kameralla ja kaappausohjelmalla. Tämä tuottaa vähemmän kehittynyttä seurantaa, eikä se pysty täysin sieppaamaan kolmiulotteisia liikkeitä, kuten pään pyörimistä. Kolmiulotteinen sieppaus tapahtuu käyttämällä monikameralaitteita tai lasermerkintäjärjestelmää. Tällaiset järjestelmät ovat tyypillisesti paljon kalliimpia, monimutkaisempia ja aikaa vievämpiä käyttää. Kaksi hallitsevaa tekniikkaa on olemassa: merkkijärjestelmät ja markkerittomat seurantajärjestelmät.

Kasvojen liikkeen sieppaaminen liittyy kehon liikkeen sieppaamiseen, mutta on haastavampaa johtuen korkeammasta resoluutiovaatimuksesta havaita ja jäljittää silmien ja huulten pienistä liikkeistä mahdolliset hienovaraiset ilmeet . Nämä liikkeet ovat usein alle muutama millimetri, mikä vaatii vielä suurempaa tarkkuutta ja tarkkuutta ja erilaisia ​​suodatustekniikoita kuin tavallisesti koko kehon sieppauksessa. Kasvojen lisärajoitukset antavat myös enemmän mahdollisuuksia käyttää malleja ja sääntöjä.

Kasvojen ilmeiden sieppaus on samanlainen kuin kasvojen liikkeen sieppaus. Se on prosessi, jossa käytetään visuaalisia tai mekaanisia keinoja tietokoneella tuotettujen hahmojen manipuloimiseksi ihmisen kasvojen avulla tai käyttäjän tunteiden tunnistamiseksi .

Historia

Lance Williams julkaisi yhden ensimmäisistä suoriteperusteisesta animaatiosta käsittelevistä artikkeleista vuonna 1990. Siellä hän kuvaa 'keinon hankkia todellisuusilmiöiden ilmaisuja ja soveltaa niitä tietokoneella tuotettuihin kasvoihin'.

Teknologiat

Markkeripohjainen

Perinteiset merkkipohjaiset järjestelmät levittävät jopa 350 merkkiä näyttelijöiden kasvoihin ja seuraavat merkkien liikettä korkean resoluution kameroilla . Tätä on käytetty elokuvissa, kuten The Polar Express ja Beowulf , jotta Tom Hanksin kaltainen näyttelijä voi ajaa useiden eri hahmojen ilmeitä. Valitettavasti tämä on suhteellisen hankalaa ja tekee näyttelijöiden ilmaisuista liian ajettuja, kun tasoitus ja suodatus on tapahtunut. Seuraavan sukupolven järjestelmät, kuten CaptiveMotion, hyödyntävät perinteisen markkeripohjaisen järjestelmän sivuja , joissa on korkeampi yksityiskohdataso.

Aktiivista LED Marker -tekniikkaa käytetään tällä hetkellä kasvojen animaation ajamiseen reaaliajassa käyttäjien palautteen antamiseksi.

Merkitsemätön

Merkitsemättömät tekniikat käyttävät kasvojen ominaisuuksia, kuten sieraimia , huulten ja silmien kulmia sekä ryppyjä, ja seuraavat niitä sitten. Tätä tekniikkaa keskustellaan ja demonstroidaan CMU: ssa , IBM: ssä , Manchesterin yliopistossa (missä suuri osa tästä alkoi Tim Cootesin , Gareth Edwardsin ja Chris Taylorin kanssa) ja muissa paikoissa aktiivisen ulkonäön mallien , pääkomponenttianalyysin , omaperäisen seurannan , deformoituvien pintamallien ja muut tekniikat haluttujen kasvojen piirteiden seuraamiseksi kehyksestä kehykseen. Tämä tekniikka on vähemmän kömpelö ja mahdollistaa näyttelijälle suuremman ilmaisun.

Näillä näkemyspohjaisilla lähestymistavoilla on myös kyky seurata oppilaan liikettä, silmäluomia, hampaiden tukkeutumista huulten ja kielen kautta, jotka ovat ilmeisiä ongelmia useimmissa tietokoneanimaatioissa. Näköpohjaisten lähestymistapojen tyypillisiä rajoituksia ovat tarkkuus ja kehysnopeus, jotka molemmat vähenevät ongelmien myötä, kun suurten nopeuksien korkean resoluution CMOS-kamerat tulevat saataville useista lähteistä.

Markkerittoman kasvojen seurannan tekniikka liittyy kasvojen tunnistusjärjestelmän tekniikkaan , koska kasvojentunnistusjärjestelmää voidaan mahdollisesti soveltaa peräkkäin jokaiseen videokehykseen, mikä johtaa kasvojen seurantaan. Esimerkiksi Neven Vision -järjestelmä (aiemmin Eyematics, nyt Googlen hankkima) mahdollisti reaaliaikaisen 2D-kasvojen seurannan ilman henkilökohtaista koulutusta; Heidän järjestelmänsä oli myös yksi parhaiten menestyvistä kasvojentunnistusjärjestelmistä Yhdysvaltain hallituksen vuonna 2002 tekemässä kasvojentunnistustestissä (FRVT). Toisaalta jotkut tunnistusjärjestelmät eivät seuraa nimenomaisesti lausekkeita tai jopa epäonnistuvat ei-neutraaleissa lausekkeissa, joten ne eivät sovellu seurantaan. Päinvastoin, järjestelmät, kuten muotoaan muuttavat pintamallit, yhdistävät ajallisen informaation selkeyttääkseen ja saadakseen vankempia tuloksia, joten niitä ei voida soveltaa yhdestä valokuvasta.

Merkitsemätön kasvojäljitys on edennyt kaupallisiin järjestelmiin, kuten Image Metrics , jota on käytetty elokuvissa, kuten Matrix- jatko-osissa ja Benjamin Buttonin utelias tapaus . Jälkimmäinen käytti Mova- järjestelmää sieppaamaan muotoaan muuttavan kasvomallin, joka sitten animoitiin manuaalisen ja näön seurannan yhdistelmällä. Avatar oli toinen merkittävä suorituskyvyn sieppauselokuva, mutta siinä käytettiin maalattuja merkkejä sen sijaan, että se olisi merkinnätön. Dynamixyz on toinen tällä hetkellä käytössä oleva kaupallinen järjestelmä.

Merkitsemättömät järjestelmät voidaan luokitella useiden erottelukriteerien mukaan:

  • 2D vs. 3D-seuranta
  • tarvitaanko henkilökohtaista koulutusta vai muuta ihmisapua
  • reaaliaikainen suorituskyky (mikä on mahdollista vain, jos koulutusta tai valvontaa ei tarvita)
  • tarvitsevatko he lisätietolähteen, kuten heijastetut kuviot tai näkymätön maali, kuten Mova-järjestelmässä käytetään.

Tähän mennessä mikään järjestelmä ei ole ihanteellinen kaikkien näiden kriteerien suhteen. Esimerkiksi Neven Vision -järjestelmä oli täysin automaattinen eikä vaadi piilotettuja kuvioita tai henkilökohtaista koulutusta, mutta se oli 2D. Face / Off-järjestelmä on 3D, automaattinen ja reaaliaikainen, mutta vaatii heijastettuja kuvioita.

Kasvojen ilmeiden sieppaus

Teknologia

Digitaaliset videopohjaiset menetelmät ovat yhä suositumpia, koska mekaaniset järjestelmät ovat yleensä hankalia ja vaikeita käyttää.

Käyttämällä digitaalikamerat , tulo käyttäjän ilmaukset käsitellään antamaan pään asento , joka mahdollistaa ohjelmiston sitten löytää silmien, nenän ja suun. Kasvot kalibroidaan aluksi neutraalilla ilmentymällä. Sitten kulmakarvat, silmäluomet, posket ja suu voidaan arkkitehtuurista riippuen käsitellä erona neutraalista ilmeestä. Tämä tehdään etsimällä esimerkiksi huulten reunoja ja tunnistamalla se ainutlaatuiseksi esineeksi. Usein käytetään kontrastia parantavaa meikkiä tai markkereita tai jotain muuta menetelmää prosessoinnin nopeuttamiseksi. Kuten puheentunnistus, parhaat tekniikat ovat vain hyvät 90 prosenttia ajasta, mikä vaatii paljon käsin säätämistä tai suvaitsevaisuutta virheille.

Koska tietokoneella tuotetuilla hahmoilla ei todellakaan ole lihaksia , samojen tulosten saavuttamiseksi käytetään erilaisia ​​tekniikoita. Jotkut animaattorit luovat luita tai esineitä, joita kaappausohjelmisto ohjaa, ja siirtävät niitä vastaavasti, mikä merkin oikean väärennöksen jälkeen antaa hyvän likiarvon. Koska kasvot ovat erittäin joustavia, tätä tekniikkaa sekoitetaan usein muiden kanssa, painojen säätäminen eri tavoin ihon kimmoisuuteen ja muihin tekijöihin haluttujen ilmentymien mukaan.

Käyttö

Useat kaupalliset yritykset kehittävät käytettyjä, mutta melko kalliita tuotteita.

Tämän odotetaan olevan merkittävä tietokonepelien syöttölaite , kun ohjelmisto on saatavana kohtuuhintaisessa muodossa, mutta laitteistoja ja ohjelmistoja ei vielä ole olemassa, huolimatta viimeisten 15 vuoden tutkimuksesta, joka on tuottanut lähes käyttökelpoisia tuloksia.

Katso myös

Viitteet

  1. ^ Suorituskykyinen kasvojen animaatio, Lance Williams, tietokonegrafiikka, nide 24, numero 4, elokuu 1990
  2. ^ AAM- sovitusalgoritmit arkistoitiin 22.02.2017 Wayback-koneella Carnegie Mellon Robotics Institute
  3. ^ "Kasvojen reaaliaikainen reaaliaikainen automaattinen tunnistus" (PDF) . Arkistoitu alkuperäisestä (PDF) 2015-11-19 . Haettu 17.11.2015 .
  4. ^ Mallinnus- ja hakuohjelmisto arkistoitiin 23.02.2009 Wayback-koneella ("Tässä asiakirjassa kuvataan tilastollisten ulkonäkömallien rakentaminen, näyttäminen ja käyttö.")
  5. ^ Wiskott, Laurenz; J.-M. Fellous; N. Kruger; C. von der Malsurg (1997), "Kasvojentunnistus joustavien nippukaavioiden sovittamisen avulla", Lecture Notes in Computer Science , Springer, 1296 : 456–463, CiteSeerX  10.1.1.18.1256 , doi : 10.1007 / 3-540-63460- 6_150 , ISBN 978-3-540-63460-7
  6. ^ Borshukov, George; D. Piponi; O. Larsen; J. Lewis; C. Templelaar-Lietz (2003), "Universal Capture - Kuvapohjainen kasvoanimaatio kohteelle" Matrix Reloaded " ", ACM SIGGRAPH
  7. ^ Barba, Eric; Steve Preeg (18. maaliskuuta 2009), "Benjamin Buttonin uteliaat kasvot", esitys Vancouverin ACM SIGGRAPH -luvussa, 18. maaliskuuta 2009.
  8. ^ Weise, Thibaut; H. Li; L. Van Gool; M. Pauly (2009), "Face / off: Live Face Puppetry", ACM-symposium tietokoneanimaatiosta

Ulkoiset linkit