Hva er Zero Shot Learning og hvordan kan det forbedre AI

Viktige takeaways

• Generalisering er avgjørende i dyp læring for å sikre nøyaktige spådommer med nye data. Zero-shot learning bidrar til å oppnå dette ved å la AI bruke eksisterende kunnskap til å lage nøyaktige spådommer på nye eller usynlige klasser uten merkede data.
• Zero-shot learning etterligner hvordan mennesker lærer og behandler data. Ved å gi ekstra semantisk informasjon, kan en forhåndstrent modell nøyaktig identifisere nye klasser, akkurat som et menneske kan lære å identifisere en hulkroppsgitar ved å forstå dens egenskaper.
• Zero-shot learning forbedrer AI ved å forbedre generalisering, skalerbarhet, redusere overfitting og være kostnadseffektiv. Det lar modeller trenes på større datasett, få mer kunnskap gjennom overføringslæring, ha en bedre kontekstuell forståelse og redusere behovet for omfattende merkede data. Etter hvert som AI utvikler seg, vil nullskuddslæring bli enda viktigere for å takle komplekse utfordringer på ulike felt.

Et av de største målene med dyp læring er å trene opp modeller som har fått generalisert kunnskap. Generalisering er viktig fordi den sikrer at modellen har lært meningsfulle mønstre og kan ta nøyaktige spådommer eller beslutninger når den står overfor nye eller usynlige data. Trening av slike modeller krever ofte en betydelig mengde merkede data. Imidlertid kan slike data være kostbare, arbeidskrevende og noen ganger umulige.

Zero-shot learning er implementert for å bygge bro over dette gapet, slik at AI kan bruke sin eksisterende kunnskap til å lage ganske nøyaktige spådommer til tross for mangelen på merkede data.

Hva er Zero-Shot Learning?

Zero-shot learning er en spesifikk type overføringslæringsteknikk. Den fokuserer på å bruke en forhåndstrent modell for å identifisere nye eller aldri før-sett klasser ganske enkelt ved å gi ekstra informasjon som beskriver detaljene i den nye klassen.

Ved å bruke en modells generelle kunnskap om visse emner og gi den ekstra semantikk om hva den skal se etter, bør den kunne finne ganske nøyaktig hvilket emne den har i oppgave å identifisere.

La oss si at vi må identifisere en sebra. Vi har imidlertid ikke en modell som kan identifisere slike dyr. Så vi får en allerede eksisterende modell trent til å identifisere hester og fortelle modellen at hester med svarte og hvite striper er sebraer. Når vi begynner å slutte modellen ved å gi bilder av sebraer og hester, er det en god sjanse for at modellen vil identifisere hvert dyr riktig.

Som mange dyplæringsteknikker, etterligner null-skuddslæring hvordan mennesker lærer og behandler data. Mennesker er kjent for å være naturlige nullskuddslærere. Hvis du fikk i oppgave å finne en hul-kroppsgitar i en musikkbutikk, kan det hende du har problemer med å lete etter en. Men når jeg først forteller deg at en hul kropp i bunn og grunn er en gitar med et f-formet hull på en eller begge sider, vil du sannsynligvis finne en umiddelbart.

For et eksempel fra den virkelige verden, la oss bruke nullskuddsklassifiseringsappen fra open source LLM-vertssiden Hugging Face ved å bruke clip-vit-large-modellen.

Dette bildet viser et bilde av brød i en dagligvarepose festet på en barnestol. Siden modellen ble trent på et stort datasett med bilder, kan modellen sannsynligvis identifisere hvert element på bildet, for eksempel brød, dagligvarer, stoler og sikkerhetsbelter.

Nå vil vi at modellen skal klassifisere bildet ved å bruke tidligere usett klasser. I dette tilfellet vil romanen eller de usett klassene være «Avslappet brød», «Sikkert brød», «Sittende brød», «Kjøre dagligvare» og «Trygg dagligvare».

Merk at vi med vilje har brukt uvanlige usette klasser og bilder for å demonstrere effektiviteten av nullskuddsklassifisering på et bilde.

Etter å ha sluttet modellen, var den i stand til å klassifisere med rundt 80 % sikkerhet at den mest passende klassifiseringen for bildet var «Safe Bread». Dette er sannsynligvis fordi modellen mener at en høy stol er mer for sikkerhet enn å sitte, slappe av eller kjøre bil.

Rått! Jeg vil personlig være enig med modellens produksjon. Men hvordan kom akkurat modellen opp med en slik utgang? Her er en generell oversikt over hvordan nullskuddslæring fungerer.

Hvordan Zero-Shot Learning fungerer

Zero-shot learning kan hjelpe en forhåndstrent modell med å identifisere nye klasser uten å gi merkede data. I sin enkleste form gjøres nullskuddslæring i tre trinn:

1. Forberedelse

Zero-shot læring starter med å forberede tre typer data

• Sett klasse: Data brukt i opplæring av den forhåndstrente modellen. Modellen gir allerede sett klasser. De beste modellene for nullskuddslæring er modeller som er trent på klasser som er nært knyttet til den nye klassen du vil at modellen skal identifisere.
• Unseen/Novel Class: Data som aldri ble brukt under opplæringen av modellen. Du må kurere disse dataene selv siden du ikke kan få dette fra modellen.
• Semantiske/hjelpedata: Ekstra databiter som kan hjelpe modellen med å identifisere den nye klassen. Dette kan være i ord, fraser, ordinnbygging eller klassenavn.

2. Semantisk kartlegging

Det neste trinnet er å kartlegge funksjonene til den usynlige klassen. Dette gjøres ved å lage ordinnbygginger og lage et semantisk kart som kobler attributtene eller egenskapene til den usynlige klassen til hjelpedataene som er oppgitt. AI-overføringslæring gjør prosessen mye raskere, ettersom mange attributter relatert til den usynlige klassen allerede er kartlagt.

3. Inferencing

Inferencing er bruken av modellen for å generere spådommer eller utdata. I zero-shot bildeklassifisering genereres ordinnbygginger på den gitte bildeinngangen og plottes deretter og sammenlignes med hjelpedataene. Sikkerhetsnivået vil avhenge av likheten mellom inndataene og hjelpedataene som gis.

Hvordan Zero-Shot Learning forbedrer AI

Zero-shot learning forbedrer AI-modeller ved å møte flere utfordringer innen maskinlæring, inkludert:

• Forbedret generalisering: Ved å redusere avhengigheten av merkede data kan modeller trenes opp i større datasett, noe som forbedrer generalisering og gjør modellen mer robust og pålitelig. Etter hvert som modellene blir mer erfarne og generaliserte, kan det til og med være mulig for modeller å lære sunn fornuft i stedet for den typiske måten å analysere informasjon på.
• Skalerbarhet: Modeller kan kontinuerlig trenes og få mer kunnskap gjennom overføringslæring. Bedrifter og uavhengige forskere kan kontinuerlig forbedre modellene sine for å være dyktigere i fremtiden.
• Redusert sjanse for overtilpasning: Overtilpasning kan skje på grunn av at modellen trenes på et lite datasett som ikke inneholder nok variasjon til å representere alle mulige innganger. Å trene modellen gjennom nullskuddslæring reduserer sjansene for overfitting ved å trene modellen til å få en bedre kontekstuell forståelse av fag.
• Kostnadseffektivt: Det kan ta tid og ressurser å levere en stor mengde merkede data. Ved å bruke nullskuddsoverføringslæring kan trening av en robust modell gjøres med mye mindre tid og merkede data.

Etter hvert som AI utvikler seg, vil teknikker som nullskuddslæring bli enda viktigere.

Fremtiden for Zero-Shot Learning

Zero-shot learning har blitt en viktig del av maskinlæring. Det gjør det mulig for modeller å gjenkjenne og klassifisere nye klasser uten eksplisitt opplæring. Med pågående fremskritt innen modellarkitekturer, attributtbaserte tilnærminger og multimodal integrasjon, kan nullskuddslæring i betydelig grad bidra til å gjøre modeller mye mer tilpasningsdyktige når det gjelder å håndtere komplekse utfordringer innen robotikk, helsevesen og datasyn.