Lentoajan kamera- Time-of-flight camera

Kohteesta heijastuvan valopulssin lentoaika.

Aika-of-lennon kamera ( ToF, kamera ) on alueella kuvantamisen kamera, jossa käytetään aika-of-lennon tekniikoita ratkaista etäisyys kameran ja kohteen kunkin kohdan kuvan, mittaamalla kiertoaika keinovalon Laserin tai LED -valon tuottama signaali . Laserpohjaiset lennon aikakamerat ovat osa laajempaa skanneritonta LIDAR- luokkaa , jossa koko kohtaus tallennetaan jokaisella laserpulssilla, toisin kuin pistekohtainen lasersäde, kuten skannaavissa LIDAR-järjestelmissä. Siviilisovelluksiin käytettävien lentoaikaisten kameratuotteiden tuotanto alkoi nousta noin vuonna 2000, koska puolijohdeprosessit mahdollistivat komponenttien riittävän nopean valmistuksen tällaisille laitteille. Järjestelmät kattavat muutamasta senttimetristä useisiin kilometreihin.

Laitetyypit

Lentoaikakameroille on kehitetty useita erilaisia ​​tekniikoita.

RF-moduloidut valonlähteet vaiheilmaisimilla

Photonic Mixer Devices (PMD), Swiss Ranger ja CanestaVision toimivat moduloimalla lähtevää sädettä RF -kantoaallolla ja mittaamalla sitten kyseisen kantoaallon vaihesiirto vastaanottimen puolella. Tällä lähestymistavalla on modulaarinen virhehaaste: mitatut alueet ovat modulo RF -kantoaallon aallonpituutta. Swiss Ranger on kompakti, lyhyen kantaman laite, jonka kantomatka on 5 tai 10 metriä ja resoluutio 176 x 144 pikseliä. Vaiheen purkamisalgoritmeilla maksimaalista ainutlaatuisuusaluetta voidaan kasvattaa. PMD voi tarjota kantaman jopa 60 m. Valaistus on pulssi -LED -valoja pikemminkin kuin laser. CanestaVision kehittäjä Canesta osti Microsoftin vuonna 2010. Kinect2 for Xbox Yksi perustui ToF tekniikkaan Canesta.

Etäisyysportit

Näissä laitteissa on kuvakennossa sisäänrakennettu suljin, joka avautuu ja sulkeutuu samalla nopeudella kuin valopulssit lähetetään. Useimmat 3D-anturit lennon aikana perustuvat tähän Medinan keksimään periaatteeseen. Koska suljin estää osan palaavasta pulssista sen saapumisajan mukaan, vastaanotetun valon määrä liittyy pulssin kulkemaan etäisyyteen. Etäisyys voidaan laskea käyttämällä yhtälöä z = R ( S 2 - S 1 ) / 2 ( S 1 + S 2 ) + R / 2 ihanteelliselle kameralle. R on kameran kantama, joka määräytyy valopulssin edestakaisin, S 1 vastaanotetun valopulssin määrä ja S 2 estetyn valopulssin määrä.

ZCam by 3DV Systems on valikoima säätelemiin järjestelmään. Microsoft osti 3DV: n vuonna 2009. Microsoftin toisen sukupolven Kinect- anturi kehitettiin Canesta- ja 3DV Systems -järjestelmistä saatujen tietojen perusteella.

Samanlaisia ​​periaatteita käytetään Fraunhoferin mikroelektronisten piirien ja järjestelmien instituutin ja TriDiCamin kehittämässä ToF -kamerasarjassa. Nämä kamerat käyttävät valonilmaisimia, joissa on nopea elektroninen suljin.

ToF-kameroiden syvyysresoluutiota voidaan parantaa erittäin nopeilla, tehostetuilla CCD-kameroilla. Näiden kameroiden portaat ovat jopa 200 s ja mahdollistavat ToF-asetusten määrittämisen alle millimetrin syvyydellä.

Etäisyysporteilla varustettuja kuvantimia voidaan käyttää myös 2D -kuvantamisessa vaimentaakseen tietyn etäisyysalueen ulkopuolella olevia asioita, kuten nähdäkseen sumun läpi. Pulssilaserilla saadaan valaistus, ja optisen portin ansiosta valo pääsee kuvaajalle vain halutun ajanjakson aikana.

Suorat lentoajan kuvaajat

Nämä laitteet mittaavat suoran lentoajan, joka vaaditaan, kun yksittäinen laserpulssi poistuu kamerasta ja heijastuu takaisin polttovälitasoon. Tällä menetelmällä otetut 3D -kuvat, jotka tunnetaan myös nimellä "laukaisutila", täydentävät paikkatietoa ja ajallista dataa tallentamalla täydet 3D -kohtaukset yhdellä laserpulssilla. Tämä mahdollistaa kohtaustietojen nopean keräämisen ja nopean reaaliaikaisen käsittelyn. Tämä lähestymistapa on osoitettu aikaherkille itsenäisille operaatioille autonomiselle avaruustestaukselle ja -toiminnalle, kuten OSIRIS-REx Bennu-asteroidinäytteelle ja paluumatkalle sekä itsenäiselle helikopterin laskeutumiselle.

Advanced Scientific Concepts, Inc. tarjoaa sovelluskohtaisia ​​(esim. Antenni-, auto- ja avaruus) suoria TOF -näköjärjestelmiä, jotka tunnetaan 3D Flash LIDAR -kameroina. Heidän lähestymistapansa hyödyntää InGaAs -lumivyöryvalodiodia (APD) tai PIN -valonilmaisinjärjestelmiä, jotka kykenevät kuvailemaan laserpulssia 980–1 600 nm: n aallonpituuksilla.

Komponentit

Lentoaika-kamera koostuu seuraavista osista:

  • Valaistusyksikkö: Valaisee kohtauksen. Vaiheilmaisimilla varustetuissa RF-moduloiduissa valonlähteissä valoa on moduloitava suurilla nopeuksilla aina 100 MHz asti, vain LEDit tai laserdiodit ovat mahdollisia. Direct TOF -kuvantimissa käytetään yhtä pulssia kuvaa kohti (esim. 30 Hz). Valaistus käyttää normaalisti infrapunavaloa, jotta valaistus ei häiritse.
  • Optiikka: Objektiivi kerää heijastuneen valon ja kuvaa ympäristön kuva -anturille (polttovälitaso). Optinen kaistanpäästösuodatin läpäisee valon vain samalla aallonpituudella kuin valaistusyksikkö. Tämä auttaa vaimentamaan tarpeetonta valoa ja vähentämään melua.
  • Kuva -anturi : Tämä on TOF -kameran sydän. Jokainen pikseli mittaa ajan, jonka valo on kulunut kulkemaan valaistusyksiköstä (laser tai LED) kohteeseen ja takaisin polttotasoon. Ajoituksessa käytetään useita erilaisia ​​lähestymistapoja; Katsoyllä olevat laitetyypit .
  • Kuljettajan elektroniikka: Sekä valoyksikköä että kuva -anturia on ohjattava nopeilla signaaleilla ja synkronoitava. Näiden signaalien on oltava erittäin tarkkoja korkean resoluution saavuttamiseksi. Jos esimerkiksi valaisinyksikön ja anturin väliset signaalit muuttuvat vain 10 pikosekuntia , etäisyys muuttuu 1,5 mm. Vertailun vuoksi: nykyiset suorittimet saavuttavat jopa 3  GHz: n taajuudet , jotka vastaavat noin 300 ps: n kellojaksoja - vastaava "resoluutio" on vain 45 mm.
  • Laskenta/käyttöliittymä: Etäisyys lasketaan suoraan kamerasta. Hyvän suorituskyvyn saavuttamiseksi käytetään myös joitakin kalibrointitietoja. Kamera tarjoaa sitten etäisyyskuvan jonkin liitännän kautta, esimerkiksi USB: n tai Ethernetin kautta .

Periaate

Lentoajan kameran toimintaperiaate:

Pulssimenetelmässä (1) etäisyys, d = ct/2 q2/q1 + q2, jossa c on valon nopeus, t on pulssin pituus, q1 on pikseliin kertynyt varaus valoa lähetettäessä ja q2 on kertynyt varaus, kun se ei ole.

Jatkuvan aallon menetelmässä (2) d =ct/2 π arctan q3 - q4/q1 - q2 .
Kaaviot, jotka havainnollistavat lennon aikakameran periaatetta analogisella ajoituksella

Yksinkertaisin versio aika-kamerasta käyttää valopulsseja tai yhtä valopulssia. Valaistus kytketään päälle hyvin lyhyeksi ajaksi, tuloksena oleva valopulssi valaisee kohtauksen ja heijastaa näkökentän esineet. Kameran linssi kerää heijastuneen valon ja kuvaa sen anturille tai polttovälitasolle. Etäisyydestä riippuen saapuva valo kokee viiveen. Koska valon nopeus on noin c = 300 000 000 metriä sekunnissa, tämä viive on hyvin lyhyt: 2,5 metrin päässä oleva esine viivästyttää valoa:

Amplitudimoduloiduissa matriiseissa valaistuksen pulssileveys määrittää suurimman alueen, jonka kamera voi käsitellä. Jos pulssin leveys on esim. 50 ns, alue on rajoitettu

Nämä lyhyet ajat osoittavat, että valaistusyksikkö on järjestelmän kriittinen osa. Vain erityisillä LEDeillä tai laserilla on mahdollista tuottaa niin lyhyitä pulsseja.

Yksittäinen pikseli koostuu valoherkästä elementistä (esim. Valodiodi ). Se muuntaa tulevan valon virraksi. Analogisissa ajoituskuvantimissa valodiodiin on kytketty pikakytkimiä, jotka ohjaavat virran yhteen kahdesta (tai useammasta) muistielementistä (esim. Kondensaattorista ), jotka toimivat summauselementteinä. Digitaalisissa ajoituskuvantimissa aikalaskuri, joka voi toimia useilla gigahertseillä, on kytketty kuhunkin valotunnistimen pikseliin ja lopettaa laskennan, kun valo havaitaan.

Amplitudimoduloidun matriisianalogiajastimen kaaviossa pikseli käyttää kahta kytkintä (G1 ja G2) ja kahta muistielementtiä (S1 ja S2). Kytkimiä ohjataan samanpituisella pulssilla kuin valopulssilla, jolloin kytkimen G2 ohjaussignaali viivästyy täsmälleen pulssin leveydellä. Viiveestä riippuen vain osa valopulssista näytteistetään G1: n kautta S1: ssä, toinen osa tallennetaan S2: een. Etäisyydestä riippuen S1: n ja S2: n välinen suhde muuttuu piirustuksen mukaisesti. Koska vain pieni määrä valoa osuu anturiin 50 ns kuluessa, ei vain yksi, vaan useita tuhansia pulsseja lähetetään (toistotaajuus tR) ja kerätään, mikä lisää signaalin ja kohinan suhdetta .

Valotuksen jälkeen pikseli luetaan ja seuraavat vaiheet mittaavat signaaleja S1 ja S2. Kun valopulssin pituus määritetään, etäisyys voidaan laskea kaavalla:

Esimerkissä signaaleilla on seuraavat arvot: S1 = 0,66 ja S2 = 0,33. Etäisyys on siis:

Taustavalon läsnä ollessa muistielementit vastaanottavat lisäosan signaalista. Tämä häiritsisi etäisyyden mittaamista. Signaalin taustaosan poistamiseksi koko mittaus voidaan suorittaa toisen kerran, kun valaistus on kytketty pois päältä. Jos esineet ovat kauempana kuin etäisyysalue, myös tulos on väärä. Tässä toinen mittaus, jossa ohjaussignaalit viivästyvät ylimääräisellä pulssileveydellä, auttaa tukahduttamaan tällaiset kohteet. Muut järjestelmät toimivat sinimuotoisesti moduloidun valonlähteen kanssa pulssilähteen sijasta.

Suorat TOF -kuvaajat, kuten 3D Flash LIDAR, laser lähettää yhden lyhyen pulssin (5–10 ns). T-nolla-tapahtuma (aika, jolloin pulssi poistuu kamerasta) määritetään tallentamalla pulssi suoraan ja reitittämällä tämä ajoitus polttovälitasolle. T-nollaa käytetään vertaamaan palaavan heijastuneen pulssin paluuaikaa polttotason matriisin eri pikseleissä. Vertaamalla T-nollaa ja kaapattua palautettua pulssia ja vertaamalla aikaeroa jokainen pikseli antaa tarkan suoran lentoajan mittauksen. Yhden pulssin edestakainen matka 100 metriä on 660 ns. 10 ns: n pulssilla kohtaus valaistaan ​​ja alue ja voimakkuus tallennetaan alle 1 mikrosekunnissa.

Edut

Yksinkertaisuus

Toisin kuin stereonäkö- tai kolmiomittausjärjestelmät , koko järjestelmä on erittäin kompakti: valaistus on sijoitettu aivan linssin viereen, kun taas muut järjestelmät tarvitsevat tietyn vähimmäisviivan. Toisin kuin laserskannausjärjestelmät , mekaanisia liikkuvia osia ei tarvita.

Tehokas etäisyysalgoritmi

Se on suora prosessi poimia etäisyysinformaatio TOF -anturin lähtösignaaleista. Tämän seurauksena tämä tehtävä käyttää vain vähän prosessointitehoa, toisin kuin stereonäkö, jossa toteutetaan monimutkaisia ​​korrelaatioalgoritmeja. Kun etäisyystiedot on purettu, esimerkiksi kohteen havaitseminen on myös suoraviivainen prosessi, koska objektin kuviot eivät häiritse algoritmeja.

Nopeus

Lentoaikakamerat pystyvät mittaamaan etäisyydet koko otoksen sisällä yhdellä laukauksella. Koska kameroiden nopeus on jopa 160 kuvaa sekunnissa, ne sopivat ihanteellisesti reaaliaikaisiin sovelluksiin.

Haitat

Taustavalo

Kun käytetään CMOSia tai muita integroivia ilmaisimia tai antureita, jotka käyttävät näkyvää tai lähellä infrapunavaloa (400 nm - 700 nm), vaikka suurin osa keinovalaistuksesta tai auringosta tulevasta taustavalosta vaimenee, pikselin on silti tarjottava korkea dynaaminen alue . Taustavalo tuottaa myös elektroneja, jotka on tallennettava. Esimerkiksi monien nykyisten TOF -kameroiden valaistusyksiköt voivat tarjota noin 1 watin valaistustason. Sun on valaistusjännite noin 1050 wattia neliömetriä kohden, ja 50 wattia jälkeen optinen kaistanpäästösuodatin . Siksi jos valaistun kohtauksen koko on 1 neliömetri, auringon valo on 50 kertaa voimakkaampi kuin moduloitu signaali. Niille integroitumattomille TOF-antureille, jotka eivät integroi valoa ajan mittaan ja jotka käyttävät lähi-infrapuna-ilmaisimia (InGaAs) lyhyen laserpulssin sieppaamiseen, auringon suora katselu ei ole ongelma, koska kuvaa ei integroida ajan myötä. kaapataan lyhyen keräysjakson aikana, tyypillisesti alle 1 mikrosekunnissa. Tällaisia ​​TOF -antureita käytetään avaruussovelluksissa ja autosovelluksissa.

Häiriöt

Tietyntyyppisissä TOF-laitteissa (mutta ei kaikissa), jos useita lentoaikakameroita on käynnissä samanaikaisesti, TOF-kamerat voivat häiritä toistensa mittauksia. Tämän ongelman ratkaisemiseksi on useita mahdollisuuksia:

  • Aikamultipleksointi: Ohjausjärjestelmä aloittaa yksittäisten kameroiden mittaamisen peräkkäin, joten vain yksi valaistusyksikkö on aktiivinen kerrallaan.
  • Erilaiset modulaatiotaajuudet: Jos kamerat moduloivat valoaan eri modulaatiotaajuuksilla, niiden valo kerätään muihin järjestelmiin vain taustavalaistuksena, mutta se ei häiritse etäisyyden mittaamista.

Direct TOF -tyyppisissä kameroissa, jotka käyttävät yhtä laserpulssia valaistukseen, koska yksittäinen laserpulssi on lyhyt (esim. 10 nanosekuntia), edestakainen TOF -näkymä näkökentän kohteisiin ja niistä on vastaavasti lyhyt (esim. 100 metriä = 660) ns TOF -meno -paluu). Jos kuvaaja ottaa 30 Hz: n taajuudella, häiritsevän vuorovaikutuksen todennäköisyys on aika, jolloin kameran hankintaportti on auki, jaettuna laserpulssien välisellä ajalla tai noin 1: 50 000 (0,66 μs jaettuna 33 ms: lla).

Useita heijastuksia

Toisin kuin laserskannausjärjestelmät, joissa yksi piste on valaistu, lennon aikakamerat valaisevat koko otoksen. Vaihe -erolaitteessa (amplitudimoduloitu ryhmä) useiden heijastuksien vuoksi valo voi päästä kohteisiin useita polkuja pitkin. Siksi mitattu etäisyys voi olla suurempi kuin todellinen etäisyys. Suorat TOF -kuvaajat ovat haavoittuvaisia, jos valo heijastuu peilipinnalta. Saatavilla on julkaistuja papereita, joissa hahmotellaan eri TOF -laitteiden ja -menetelmien vahvuudet ja heikkoudet.

Sovellukset

Lentoaikakameralla otettu kuva ihmisen kasvoista (taiteilijan kuvaus)

Autosovellukset

Lentoaikakameroita käytetään avustus- ja turvatoiminnoissa kehittyneissä autosovelluksissa, kuten aktiivinen jalankulkijoiden turvallisuus, törmäyksenesto ja sisäkäyttöön tarkoitetut sovellukset, kuten poissaolotunnistus (OOP).

Ihmisen ja koneen rajapinnat ja pelaaminen

Koska lennon aikakamerat tarjoavat reaaliaikaisia ​​etäisyyskuvia, ihmisten liikkeitä on helppo seurata. Tämä mahdollistaa uuden vuorovaikutuksen kuluttajalaitteiden, kuten televisioiden, kanssa. Toinen aihe on tämän tyyppisten kameroiden käyttö vuorovaikutuksessa pelien kanssa videopelikonsolilla. Toisen sukupolven Kinect- anturi, joka alun perin sisältyi Xbox One -konsoliin, käytti etäisyyskameraa etäisyyskuvantamiseensa, mikä mahdollisti luonnolliset käyttöliittymät ja pelisovellukset käyttämällä tietokonenäköä ja eleiden tunnistustekniikoita . Creative ja Intel tarjoavat myös samankaltaisen interaktiivisen ele-lennon aikakameran pelaamista varten, Senz3D, joka perustuu Softkineticin DepthSense 325 -kameraan . Infineon ja PMD Technologies mahdollistavat pienet integroidut 3D-syvyyskamerat kuluttajalaitteiden, kuten all-in-one-tietokoneiden ja kannettavien tietokoneiden (Picco flexx- ja Picco monstar -kamerat), lähietäohjaukseen.

Älypuhelimen kamerat

Samsung Galaxy S20 Ultra erityispiirteet kolme selkä menosuuntaan kamera linssit ja ToF kamera.

Vuodesta 2019 lähtien useissa älypuhelimissa on lennon aikakamerat. Näitä käytetään pääasiassa valokuvien laadun parantamiseen tarjoamalla kameran ohjelmistolle tietoja etualalta ja taustasta.

Ensimmäinen matkapuhelin, joka käyttää tällaista tekniikkaa, on LG G3 , joka julkaistiin vuoden 2014 alussa.

Mittaus ja konenäkö

Aluekuva korkeusmittauksilla

Muita sovelluksia ovat mittaustehtävät, esim. Siilojen täyttökorkeus. Teollisessa konenäkymässä lennon aikakamera auttaa luokittelemaan ja paikantamaan esineitä robottien käyttöön, kuten kuljettimella ohi menevät esineet. Ovien hallintalaitteet voivat erottaa helposti ovet saavuttavat eläimet ja ihmiset.

Robotiikka

Toinen näiden kameroiden käyttötarkoitus on robotiikka: Mobiilirobotit voivat rakentaa ympäristön kartan hyvin nopeasti, jotta he voivat välttää esteitä tai seurata johtavaa henkilöä. Koska etäisyyden laskeminen on yksinkertaista, laskentatehoa käytetään vain vähän.

Maan topografia

ToF -kameroita on käytetty maapallon pinnan topografian digitaalisten korkeusmallien hankkimiseen geomorfologian tutkimuksia varten .

Tuotemerkit

Aktiiviset tuotemerkit (vuodesta 2011)

  • ESPROS - 3D TOF -kuvauspiirit, TOF -kamera ja moduuli auto-, robotiikka-, teollisuus- ja IoT -sovelluksiin
  • 3D -salama LIDAR -kamerat ja näköjärjestelmät, Advanced Scientific Concepts, Inc. antenni-, auto- ja avaruussovelluksiin
  • DepthSense - TOF -kamerat ja -moduulit, mukaan lukien SoftKineticin RGB -anturi ja mikrofonit
  • IRMA MATRIX - TOF -kamera, jota iris -GmbH käyttää matkustajien automaattiseen laskemiseen mobiili- ja kiinteissä sovelluksissa
  • Kinect - Microsoftin handsfree-käyttöliittymäalusta videopelikonsoleille ja tietokoneille, jotka käyttävät lennon aikakameroita toisen sukupolven anturilaitteissaan.
  • pmd - PMD Technologiesin kameran vertailumallit ja ohjelmistot (pmd [visio], mukaan lukien TOF -moduulit [CamBoard]) ja TOF -kuvantimet (PhotonICs)
  • real.IZ 2+3D - Korkean resoluution SXGA (1280 × 1024) TOF -kamera, jonka on kehittänyt käynnistysyritys odos imaging. Perustuu Siemensissä kehitettyyn tekniikkaan .
  • Senz3D - Creativen ja Intelin TOF -kamera, joka perustuu Pelaamiseen käytettäväksi Softkineticin DepthSense 325 -kameraan.
  • SICK - 3D -teolliset TOF -kamerat (Visionary -T) teollisiin sovelluksiin ja ohjelmistoihin
  • 3D MLI -anturi - IEE: n (International Electronics & Engineering) TOF -kuvaaja, moduulit, kamerat ja ohjelmisto, joka perustuu moduloituun valovoimaan (MLI)
  • TOFCam Stanley - Stanley Electricin TOF -kamera
  • TriDiCam - TOF -moduulit ja -ohjelmistot, TOF -kuvantimen, jonka on alun perin kehittänyt Fraunhoferin mikroelektronisten piirien ja järjestelmien instituutti, ja jonka on nyt kehittänyt spin out -yritys TriDiCam
  • Hakvision - TOF -stereokamera
  • Cube eye - ToF -kamera ja -moduulit, VGA -tarkkuus , verkkosivusto: www.cube-eye.co.kr

Lopettaneet tuotemerkit

  • CanestaVision - TOF moduuleja ja ohjelmisto Canesta (yhtiö osti Microsoft vuonna 2010)
  • D -IMager - Panasonic Electric Worksin TOF -kamera
  • OptriCam - Optriman TOF -kamerat ja -moduulit (uudelleennimetty DepthSense ennen SoftKinetic -sulautumista vuonna 2011)
  • ZCam - 3DV -järjestelmien TOF -kameratuotteet, joissa täyden värin video yhdistetään syvyystietoihin (Microsoftille vuonna 2009 myyty omaisuus)
  • SwissRanger - teollinen, vain TOF -kamerasarja, jonka on alun perin kehittänyt Center Suisse d'Electronique et Microtechnique, SA ( CSEM ), nyt kehittänyt Mesa Imaging (Heptagon hankki Mesa Imagingin vuonna 2014)
  • Fotonic - TOF -kamerat ja ohjelmistot, jotka toimivat Panasonicin CMOS -sirulla (Fotonic hankittu Autolivilta vuonna 2018)
  • S.Cube - ToF -kamera ja moduulit Cube eye -sovelluksella

Katso myös

Viitteet

Lue lisää