Stadig flere produsenter fremhever at deres mobiltelefoner er utstyrt med Time of Flight-kameraer (ToF). Men hva innebærer egentlig et ToF-kamera, hvordan fungerer det, og hvorfor er det en fordel å ha det i din smarttelefon?
ToF-kameraer gir forbedret dybdeskarphet
I bunn og grunn er ToF-kameraer i realiteten standard HD-kameraer med utvidet dybdeoppløsning. For eksempel, telefoner som Huawei P30 Pro fra 2019, skilter med en dybdeoppløsning som er fire ganger bedre enn hva konvensjonelle kameraer tilbyr. Selv om begrepet «dybdeoppløsning» kan virke teknisk, er det faktisk ganske enkelt å forstå. Et kamera med høy dybdeoppløsning er i stand til å skille mellom objekter som befinner seg nært (i forgrunnen) og objekter som er langt unna (i bakgrunnen).
Innenfor fotografering refererer dette skillet mellom forgrunn og bakgrunn til dybdeskarphet. Dette er det som skaper en følelse av realisme eller fokus i bildet. Objekter som er nære fremstår skarpe med klare konturer, mens objekter i det fjerne blir noe mer uskarpe.
Med et ToF-kamera får fotografer større kontroll over dybdeskarpheten. Det er imidlertid ikke nødvendig å være profesjonell fotograf for å dra nytte av fordelene som et ToF-kamera med sin forbedrede dybdeoppløsning gir. Automatiske kamerainnstillinger kombinert med et ToF-kamera kan produsere bemerkelsesverdige bilder med veldefinert forgrunn og bakgrunn. I tillegg kan et ToF-kamera brukes til å lage imponerende videoer med avansert bildestabilisering, eller for å forbedre nøyaktigheten i Instagram-filtre.
Videre kan ToF-kameraet i telefonen benyttes til avansert ansiktsgjenkjenning, bevegelsesstyring og AR-videospill. Husker du hvordan Pokémon Go bruker kameraet for å plassere en Pokémon i omgivelsene dine? ToF-kameraer kan gi denne funksjonen et mye mer overbevisende uttrykk.
Teknologien er ikke ny
Interessant nok har ToF-kameraer eksistert siden slutten av 1970-tallet. Det har bare tatt tid før teknologien har blitt rimelig og praktisk nok for bruk i forbrukerprodukter.
Tidligere ble ToF-kameraer brukt til topografisk kartlegging, industriell maskinautomatisering og automatiske dører. Denne teknologien fant også veien inn i mange hjem (sannsynligvis også ditt) tilbake i 2014. Microsofts Xbox One Kinect brukte et ToF-kamera til å identifisere ansikter og nøyaktig spore håndbevegelser.
Per april 2019, var det kun et fåtall telefoner som var utstyrt med innebygde ToF-kameraer, slik som LG G8 ThinQ, Honor View 20, Huawei P30 Pro, og Oppo RX17 Pro. Selv om disse telefonene i hovedsak henvender seg til fotografer og teknologientusiaster, setter de standarden for fremtidige telefoner, inkludert kommende modeller fra Samsung og Apple.
Det er tydelig at ToF-kameraer er fascinerende, og at de har eksistert siden tiden da Star Wars kom ut. Men hvordan fungerer de egentlig? Hva er årsaken til deres eksepsjonelle dybdeoppløsning?
ToF-kameraer bruker lidar for å måle dybde
Er du kjent med hvordan flaggermus og delfiner bruker lyd for å «se» omgivelsene sine? Vi har faktisk tatt i bruk denne metoden, bygget den inn i ubåter, og gitt den navnet sonar. ToF-kameraer bruker en lignende teknikk for å måle dybde, men den kalles lidar, og er basert på pulser av infrarødt (IR) lys i stedet for lyd.
Når du tar et bilde med telefonens ToF-kamera, sendes det ut en puls av usynlig IR-lys som reflekteres fra objekter i nærheten. Noe av lyset sprer seg utover, men mesteparten reflekteres tilbake til ToF-kameraet i telefonen.
På samme måte som lydbølgene til en flaggermus, kommer lidarbølgene tilbake i fragmenter. IR-lys som reflekteres fra objekter som er nære, returnerer raskt til ToF-kameraet, mens lyset som reflekteres fra mer fjerne objekter tar lengre tid. Telefonen din måler hvor lang tid det tar for hver lysstråle å komme tilbake, beregner disse verdiene, og genererer et detaljert 3D-dybdekart.
Det kan sammenlignes litt med pin-art-leker som du kan presse ansiktet inn i. Disse lekene skaper en «3D-effekt» fordi nesen, som er nærmere brettet, lager en større fordypning enn øynene og kinnene som er relativt lenger unna brettet.
Refleksjonen av IR-lys gir naturligvis bare telefonen din dybdeinformasjon. Derfor kombinerer ToF-kameraer IR-funksjonalitet med et standard kamera med høy oppløsning. Telefonen din bruker programvare for å kombinere et vanlig bilde med et 3D-dybdekart generert av IR-lyset, noe som resulterer i et bilde med en klar forgrunn og bakgrunn.
Fremtidige anvendelser for ToF-kameraer
I de kommende årene forventes ToF-kameraer å revolusjonere måten vi tar bilder og video med våre mobiltelefoner. Men vi må også se på det større perspektivet. Vi snakker om en teknologi som kan lage et dybdekart av et miljø i lysets hastighet. Anvendelsesområdene strekker seg langt utover bare fotografering.
Faktisk vil din første erfaring med telefonens ToF-kamera sannsynligvis ikke dreie seg utelukkende om fotografering. Den Samsung Galaxy S10 5G vil ha ToF-kameraer både på forsiden og baksiden. Apple er kjent for å være tilbakeholden med informasjon om fremtidige iPhone-planer, men det ryktes at 2019-modellene også vil inkludere ToF-kameraer. Denne forbedringen vil ikke bare gi selfiene dine et fantastisk utseende, men vil også øke nøyaktigheten til Face ID og andre sikkerhetsfunksjoner. Hvis du aktiverer ansiktsgjenkjenning når du konfigurerer telefonen, vil den danne et 3D-kart av ansiktet ditt før du får muligheten til å ta noen selfies.
Bevegelseskontroller er et annet spennende (men kanskje litt kuriøst) bruksområde for ToF-kameraer. Det er sant at Kinects bevegelsessystem kanskje har fått en del kritikk, men i løpet av de neste årene vil du sannsynligvis benytte deg av lignende teknologi for å styre telefonen, datamaskinen, smarthjelperen eller smartklokken. For tiden jobber selskaper som InMotion med ToF-applikasjoner for stasjonære datamaskiner, og produsenter som Google utforsker bruken av radar- og lidarsystemer for å lage håndfrie, geststyrte smartklokker og smarthjelpere.
I tillegg til bevegelseskontroller er ToF-kameraer også velegnet for VR- og AR-applikasjoner. I utgangspunktet vil funksjoner som Instagram-filtre og Pokémon Go virke mye mer «ekte» når de brukes sammen med et ToF-kamera. For mer komplekse applikasjoner, som VR, kan ToF-kameraer brukes til å registrere spillerens håndbevegelser og fottrinn. De kan også brukes til raskt å kartlegge fysiske miljøer og omdanne dem til VR-verdener, noe som kan fremskynde profesjonell spillutvikling eller åpne VR-markedet for uavhengige spillutviklere.
ToF-kameraer har imidlertid også praktiske anvendelser. Tidligere har de blitt benyttet i maskinautomatisering i fabrikker. Dette vil fortsette. Etter hvert som ToF-kameraer blir bedre (og rimeligere), vil de finne veien inn i flere industrielle og forbrukerbaserte AI-produkter. De fleste selvkjørende biler bruker allerede en form for lidar-teknologi for å «se» omgivelsene sine (interessant nok benytter ikke Tesla-biler lidar).
Selv om ToF-kameraet i din nye mobiltelefon hovedsakelig er rettet mot foto-, AR- og ansiktsgjenkjenningsapplikasjoner, er dette et godt tidspunkt for å bli kjent med teknologien. Etterhvert vil ToF-kameraer bli en integrert del av hverdagen.
Kilde: Mouser