Viktige punkter
- Google Gemini 1.5 introduserer et kontekstvindu på én million tokens, som overgår konkurrenter som Claude og ChatGPT med stor margin.
- Et større kontekstvindu forbedrer en KI-modells evne til å behandle informasjon og reduserer feil, men det er ikke en garanti for feilfri ytelse.
- Den utvidede kapasiteten til Gemini 1.5 kan resultere i forbedret nøyaktighet, færre feil og en dypere forståelse av komplekse oppgaver.
Google Gemini 1.5 har nå et imponerende kontekstvindu på én million tokens, som overgår konkurransen fra ChatGPT, Claude og andre AI-chatbots betraktelig. Dette representerer et betydelig fremskritt og kan potensielt endre spillereglene for Gemini.
Omfanget av dette er vanskelig å fatte, men det massive kontekstvinduet kan være en revolusjon innen kunstig intelligens.
Hva innebærer et kontekstvindu?
Når KI-modeller svarer på spørsmål, enten det er å forklare et konsept eller oppsummere en tekst, har de en grense for hvor mye informasjon de kan prosessere for å generere et svar. Denne grensen, som bestemmer hvor mye tekst den kan vurdere, er kjent som kontekstvinduet.
Tenk deg at du skal handle uten handleliste. Hvor mange varer du husker i butikken, er ditt kontekstvindu. Jo flere varer du husker, desto mindre er sjansen for at du glemmer noe. På samme måte, jo større kontekstvinduet til en AI-modell er, jo mer informasjon kan den huske og bruke for å gi de beste svarene.
Per dags dato har Anthropic’s Claude 2.1 det største kontekstvinduet på 200 000 tokens blant allment tilgjengelige AI-modeller. GPT-4 Turbo følger etter med 128 000 tokens. Google Gemini 1.5 bryter imidlertid alle rekorder med sitt kontekstvindu på én million tokens, som er fire ganger større enn noen annen modell på markedet. Dette reiser spørsmålet: Hva er den reelle betydningen av et så stort kontekstvindu?
Hvorfor er Gemini 1.5s kontekstvindu så viktig?
For å sette det i perspektiv, kan Claude AI’s 200 000 tokens kontekstvindu analysere en bok på rundt 150 000 ord. Det er betydelig. Men Google Gemini 1.5 ville kunne behandle hele 700 000 ord på en gang!
Når du gir store mengder tekst til AI-chatbots som ChatGPT eller Gemini, prøver de å prosessere så mye av teksten som mulig, men kapasiteten avhenger av kontekstvinduet. Hvis du for eksempel har en samtale som strekker seg over 100 000 ord med en modell som bare kan håndtere 28 000, og deretter stiller spørsmål som krever full forståelse av hele samtalen, vil modellen sannsynligvis ikke lykkes.
Tenk deg å bare se 20 minutter av en timeslang film og så bli bedt om å forklare hele handlingen. Hvor nøyaktig ville du være? Enten ville du nekte å svare eller bare gjette, noe som er det samme som en AI-chatbot ville gjort, og som fører til AI-hallusinasjoner.
Det er ikke bare mengden tekst du legger inn i en ledetekst som betyr noe. AI-modeller bruker hele samtalen i en chat-økt for å sikre at svarene deres er relevante. Så selv om du ikke mater den med en bok på 100 000 ord, vil dine samtaler og svarene den gir, alle bidra til beregningen av kontekstvinduet. Lurer du på hvorfor ChatGPT eller Google Gemini glemmer ting du har sagt tidligere i samtalen? Det er sannsynligvis fordi de har gått tom for plass i kontekstvinduet og begynner å glemme ting.
Et større kontekstvindu er spesielt viktig for oppgaver som krever en dyp forståelse av konteksten, som å oppsummere lange artikler, svare på komplekse spørsmål eller opprettholde en konsistent historie i generert tekst. Hvis du ønsker å skrive en roman på 50 000 ord med en konsistent fortelling, eller ha en modell som kan «se» og svare på spørsmål fra en times lang videofil, trenger du et stort kontekstvindu!
Kort sagt kan Gemini 1.5s store kontekstvindu forbedre AI-modellens ytelse betydelig, redusere hallusinasjoner, øke nøyaktigheten og gjøre den bedre til å følge instruksjoner.
Vil Gemini 1.5 leve opp til forventningene?
Hvis alt går etter planen, kan Gemini 1.5 potensielt overgå de beste AI-modellene på markedet. Men med tanke på Googles tidligere problemer med å bygge en stabil AI-modell, er det viktig å være forsiktig. Det å øke kontekstvinduet til en modell alene gjør den ikke automatisk bedre.
Jeg har selv brukt Claude 2.1s 200 000 tokens kontekstvindu i flere måneder, og én ting er klart: et større kontekstvindu kan forbedre kontekstforståelsen, men problemer med kjernemodellens ytelse kan gjøre det store kontekstvinduet til et problem i seg selv.
Vil Google Gemini 1.5 virkelig være en game-changer? Sosiale medier er fylt med positive anmeldelser fra brukere med tidlig tilgang. Imidlertid er mange av disse anmeldelsene basert på enkle brukstilfeller. Et godt sted å se hvordan Gemini 1.5 presterer er i Googles Gemini 1.5 tekniske rapport [PDF]. Rapporten viser at selv under «kontrollert testing», klarte ikke modellen å hente alle de små detaljene i dokumenter som lå innenfor kontekstvinduets størrelse.
Et kontekstvindu på én million tokens er en imponerende teknologisk prestasjon, men uten å kunne hente detaljene i et dokument på en pålitelig måte, er et større kontekstvindu av begrenset praktisk verdi og kan til og med føre til redusert nøyaktighet og økte hallusinasjoner.