Hvem oppdager Deepfakes bedre: mann eller maskin?

Viktige takeaways

• Deepfakes utgjør betydelige trusler mot samfunnet, inkludert å spre desinformasjon, skade omdømmet gjennom etterligning og skape konflikter for nasjonal sikkerhet.
• Selv om AI-teknologi tilbyr verktøy for deepfake-deteksjon, er de ikke perfekte, og menneskelig skjønn er fortsatt avgjørende for å identifisere dype forfalskninger.
• Mennesker og AI-deteksjonsverktøy har forskjellige styrker og svakheter når det gjelder å identifisere deepfakes, og å kombinere deres evner kan forbedre suksessraten for å oppdage og redusere farene ved deepfake-teknologi.

Deepfakes truer alle aspekter av samfunnet. Vår evne til å identifisere falskt innhold er avgjørende for å fjerne desinformasjon, men ettersom AI-teknologien forbedres, hvem kan vi stole på for å oppdage dype forfalskninger: mann eller maskin?

Farene ved Deepfakes

Etter hvert som AI-teknologien utvikler seg, utgjør farene ved deepfakes en økende trussel for oss alle. Her er en rask oppsummering av noen av de mest presserende problemene deepfakes utgjør:

• Desinformasjon: Deepfakede videoer og stemmeopptak kan spre desinformasjon, for eksempel falske nyheter.
• Etterligning: Ved å utgi seg for å være individer, kan dypforfalskninger skade omdømmet til folk eller lure noen de er kjent av.
• Nasjonal sikkerhet: Det åpenbare dommedagsscenarioet med dype forfalskninger er fabrikerte opptak eller lyd av en global leder som innleder konflikt.
• Sivil uro: Villedende opptak og lyd kan også brukes av parter for å vekke sinne og sivil uro blant spesifikke grupper.
• Cybersikkerhet: Nettkriminelle bruker allerede AI-stemmekloningsverktøy for å målrette mot enkeltpersoner med overbevisende meldinger fra folk de kjenner.
• Personvern og samtykke: Den ondsinnede bruken av deepfakes ligner på enkeltpersoner uten deres samtykke.
• Tillit og tillit: Hvis du ikke kan skille mellom sannhet og bedrag, blir nøyaktig informasjon like upålitelig.

Deepfakes vil bare bli mer overbevisende, så vi trenger robuste verktøy og prosesser for å oppdage dem. AI tilbyr et slikt verktøy i form av dypfalske deteksjonsmodeller. I likhet med algoritmer designet for å identifisere AI-generert skriving, er ikke deepfake-deteksjonsverktøy perfekte.

På dette tidspunktet er menneskelig skjønn det eneste andre verktøyet vi kan stole på. Så, er vi bedre enn algoritmer til å identifisere dype forfalskninger?

Kan algoritmer oppdage deepfakes bedre enn mennesker?

Deepfakes er en alvorlig nok trussel til at teknologigiganter og forskningsgrupper bruker enorme ressurser til forskning og utvikling. I 2019 tilbød slike som Meta, Microsoft og Amazon $1 000 000 i premier under en Deepfake Detection Challenge for den mest nøyaktige deteksjonsmodellen.

Den beste modellen var 82,56 % nøyaktig mot et datasett med offentlig tilgjengelige videoer. Men da de samme modellene ble testet mot et «black box-datasett» med 10 000 usette videoer, var den best presterende modellen bare 65,18 % nøyaktig.

Vi har også mange studier som analyserer ytelsen til AI-deepfake-deteksjonsverktøy mot mennesker. Selvfølgelig varierer resultatene fra en studie til den neste, men generelt sett er mennesker enten lik eller bedre enn suksessraten til deepfake-deteksjonsverktøy.

En 2021-studie publisert på PNAS fant at «vanlige menneskelige observatører» oppnådde en litt høyere nøyaktighetsgrad enn de ledende deepfake-deteksjonsverktøyene. Studien fant imidlertid også at de menneskelige deltakerne og AI-modellene var mottakelige for forskjellige typer feil.

Interessant nok forskning utført av Universitetet i Sydney har funnet ut at den menneskelige hjernen ubevisst er mer effektiv til å oppdage dype forfalskninger enn vår bevisste innsats.

Oppdage visuelle ledetråder i Deepfakes

Vitenskapen om deepfake-deteksjon er kompleks, og den nødvendige analysen varierer, avhengig av arten av opptakene. For eksempel er den beryktede deepfake-videoen av Nord-Koreas leder Kim Jong-un fra 2020 i utgangspunktet en talking head-video. I dette tilfellet kan den mest effektive deepfake-deteksjonsmetoden være å analysere visemer (munnbevegelser) og fonemer (fonetiske lyder) for inkonsekvenser.

Menneskelige eksperter, tilfeldige seere og algoritmer kan alle utføre denne typen analyser, selv om resultatene varierer. De MIT definerer åtte spørsmål for å identifisere dypfalske videoer:

• Vær oppmerksom på ansiktet. High-end DeepFake-manipulasjoner er nesten alltid ansiktstransformasjoner.
• Vær oppmerksom på kinnene og pannen. Virker huden for glatt eller for rynkete? Er alderen til huden lik alderen til håret og øynene? DeepFakes kan være inkongruente på enkelte dimensjoner.
• Vær oppmerksom på øynene og øyenbrynene. Dukker det opp skygger på steder du forventer? DeepFakes kan mislykkes i å representere den naturlige fysikken til en scene fullt ut.
• Vær oppmerksom på brillene. Er det gjenskinn? Er det for mye blending? Endres vinkelen på blendingen når personen beveger seg? Nok en gang kan DeepFakes mislykkes i å representere lysets naturlige fysikk fullt ut.
• Vær oppmerksom på ansiktshår eller mangel på det. Ser dette ansiktshåret ekte ut? DeepFakes kan legge til eller fjerne bart, kinnskjegg eller skjegg. Imidlertid kan DeepFakes mislykkes i å gjøre transformasjoner av ansiktshår helt naturlige.
• Vær oppmerksom på føflekker i ansiktet. Ser føflekken ekte ut?
• Vær oppmerksom på å blinke. Blinker personen nok eller for mye?
• Vær oppmerksom på leppebevegelsene. Noen deepfakes er basert på leppesynkronisering. Ser leppebevegelsene naturlige ut?

De nyeste verktøyene for deepfake-deteksjon av AI kan analysere de samme faktorene, igjen, med ulik grad av suksess. Dataforskere utvikler også stadig nye metoder, for eksempel å oppdage naturlig blodstrøm i ansiktene til høyttalere på skjermen. Nye tilnærminger og forbedringer av eksisterende kan føre til at verktøy for AI-deepfake-deteksjon konsekvent overgår mennesker i fremtiden.

Oppdager lydledetråder i Deepfakes

Å oppdage dypfalsk lyd er en helt annen utfordring. Uten de visuelle signalene til video og muligheten til å identifisere audiovisuelle inkonsekvenser, er deepfake-deteksjon sterkt avhengig av lydanalyse (andre metoder som metadataverifisering kan også hjelpe, i noen tilfeller).

En studie publisert av University College London i 2023 fant mennesker kan oppdage dypfalske tale 73 % av tiden (engelsk og mandarin). Som med dypfalske videoer, oppdager menneskelige lyttere ofte intuitivt unaturlige talemønstre i AI-generert tale, selv om de ikke kan spesifisere hva som virker feil.

Vanlige tegn inkluderer:

• Slurring
• Mangel på uttrykk
• Bakgrunns- eller interferensstøy
• Stemme- eller taleinkonsekvenser
• Mangel på «fylde» i stemmene
• Overdrevent skriptet levering
• Mangel på ufullkommenheter (falske starter, korrigeringer, halsrykking, etc.)

Nok en gang kan algoritmer også analysere tale for de samme dypfalske signalene, men nye metoder gjør verktøy mer effektive. Forskning av USENIX identifiserte mønstre i rekonstruksjon av AI-stemmekanalen som ikke klarer å etterligne naturlig tale. Den oppsummerer at AI-stemmegeneratorer produserer lydtilpassede smale vokalkanaler (omtrent på størrelse med et sugerør) uten de naturlige bevegelsene til menneskelig tale.

Tidligere forskning fra Horst Görtz-instituttet analysert ekte og dypfalsk lyd på engelsk og japansk, og avslørte subtile forskjeller i de høyere frekvensene av ekte tale og dype falske.

Både vokalkanalen og høyfrekvente inkonsekvenser er merkbare for menneskelige lyttere og AI-deteksjonsmodeller. Når det gjelder høyfrekvente forskjeller, kan AI-modeller teoretisk sett bli stadig mer nøyaktige – selv om det samme også kan sies for AI-deepfakes.

Mennesker og algoritmer blir begge lurt av Deepfakes, men på forskjellige måter

Studier tyder på at mennesker og de nyeste AI-deteksjonsverktøyene på samme måte er i stand til å identifisere dype forfalskninger. Suksessrater kan variere mellom 50 % og 90+ %, avhengig av testparametrene.

I forlengelsen av dette blir mennesker og maskiner også lurt av deepfakes i lignende grad. Det er imidlertid avgjørende at vi er mottakelige på forskjellige måter, og dette kan være vår største ressurs når det gjelder å takle farene ved dypfalsk teknologi. Ved å kombinere styrken til mennesker og deepfake-deteksjonsverktøy vil det redusere svakhetene til hver og forbedre suksessraten.

For eksempel, MIT forskning fant at mennesker var bedre til å identifisere dype forfalskninger fra verdensledere og kjente mennesker enn AI-modeller. Den avslørte også AI-modellene som slet med opptak med flere personer, selv om det antydet at dette kunne skyldes at algoritmer ble trent på opptak med enkelthøyttalere.

Omvendt fant den samme studien at AI-modeller overgikk mennesker med opptak av lav kvalitet (uskarpe, kornete, mørke osv.) som med vilje kunne brukes til å lure menneskelige seere. På samme måte inkluderer nyere AI-deteksjonsmetoder som å overvåke blodstrømmen i bestemte ansiktsregioner analyser som mennesker ikke er i stand til.

Etter hvert som flere metoder utvikles, vil AIs evne til å oppdage tegn vi ikke kan bare forbedres, men det vil også dens evne til å lure. Det store spørsmålet er om deepfake-deteksjonsteknologi vil fortsette å overgå deepfakes selv.

Å se ting annerledes i Deepfakes-tiden

AI deepfake-deteksjonsverktøy vil fortsette å forbedre seg, det samme vil kvaliteten på selve deepfake-innholdet. Hvis AIs evne til å lure overgår evnen til å oppdage (som den har med AI-generert tekst), kan menneskelig skjønn være det eneste verktøyet vi har igjen for å bekjempe deepfakes.

Alle har et ansvar for å lære tegnene på dype forfalskninger og hvordan de kan oppdage dem. Bortsett fra å beskytte oss mot svindel og sikkerhetstrusler, er alt vi diskuterer og deler på nettet sårbart for desinformasjon hvis vi mister forståelsen av virkeligheten.