Innholdsfortegnelse
Viktige takeaways
- Google Gemini 1.5 introduserer et kontekstvindu på én million tokener, som overgår konkurrenter som Claude og ChatGPT.
- Et større kontekstvindu forbedrer ytelsen til en AI-modell og reduserer feil, men garanterer kanskje ikke total suksess.
- Gemini 1.5s større kontekstvindu kan forbedre nøyaktigheten, redusere feil og forbedre forståelsen.
Google Gemini 1.5 kommer nå med et enormt én million tokens kontekstvindu, noe som overskygger den direkte konkurransen i ChatGPT, Claude og andre AI-chatboter.
Det høres ut som en massiv oppgradering og kan skille Gemini fra hverandre. Det er litt vanskelig å forstå hele omfanget – men Geminis enorme kontekstvindu kan være en game changer.
Hva er et kontekstvindu?
Mens de svarer på spørsmålene dine, som å forklare et konsept eller oppsummere en tekst, har AI-modeller en grense for hvor mye data de kan vurdere for å generere et svar. Begrensningen på tekststørrelsen den kan vurdere kalles et kontekstvindu.
Her er en annen måte å se det på. La oss si at du går til en matbutikk for å kjøpe dagligvarer uten handlelisten din. Grensen for hvor mange dagligvarer du husker når du handler, er kontekstvinduet ditt. Jo flere dagligvarer du kan huske, jo større er sjansene for at du ikke roter til handleplanene dine. Tilsvarende, jo større kontekstvinduet til en AI-modell er, desto større er sjansene for at modellen husker alt den trenger for å gi deg de beste resultatene.
I skrivende stund er Anthropics Claude 2.1s 200k kontekstvindu det største kontekstvinduet av alle allment tilgjengelige AI-modeller. Dette etterfølges av GPT-4 Turbo med et 128k kontekstvindu. Google Gemini 1.5 bringer et én million kontekstvindu, fire ganger større enn noe annet på markedet. Dette fører til det store spørsmålet: hva er den store greia med et kontekstvindu på én million tokener?
Hvorfor Gemini 1.5s kontekstvindu er en stor sak
For å sette det i et klarere perspektiv betyr Claude AIs 200k kontekstvindu at den kan fordøye en bok på rundt 150 000 ord og gi svar på den. Det er massivt. Men Googles Gemini 1.5 ville være i stand til å fordøye 700 000 ord på en gang!
Når du mater en stor tekstblokk inn i AI-chatbots som ChatGPT eller Gemini, prøver den å fordøye så mye av teksten som mulig, men hvor mye den kan fordøye avhenger av kontekstvinduet. Så hvis du har en samtale som går inn i 100 000 ord på en modell som bare kan håndtere 28 000 og deretter begynner å stille spørsmål som krever at den har fullstendig kunnskap om hele samtalen verdt 100 000 ord, setter du den opp til å mislykkes.
Tenk deg at du bare ser 20 minutter av en én time lang film, men blir bedt om å forklare hele filmen. Hvor gode vil resultatene dine være? Du nekter enten å svare eller bare finner på ting, noe som er nøyaktig hva en AI-chatbot ville gjort, noe som fører til AI-hallusinasjoner.
Nå, hvis du tenker at du aldri har måttet mate 100 000 ord inn i en chatbot, er ikke det hele vurderingen. Kontekstvinduet overskrider bare teksten du mater en AI-modell i en enkelt ledetekst. AI-modeller vurderer hele samtalen du har hatt under en chat-økt for å sikre at svarene deres er så relevante som mulig.
Så selv om du ikke mater den med en 100 000 ordbok, vil samtalene dine frem og tilbake og svarene den gir alle legge til kontekstvindusberegningen. Lurer du på hvorfor ChatGPT eller Googles Gemini fortsetter å glemme de tingene du har fortalt den tidligere i en samtale? Det gikk sannsynligvis tom for kontekstvindusplass og begynte å glemme ting.
Et større kontekstvindu er spesielt viktig for oppgaver som krever en dyp forståelse av konteksten, som å oppsummere lange artikler, svare på komplekse spørsmål eller opprettholde en sammenhengende fortelling i den genererte teksten. Vil du skrive en roman på 50 000 ord som har en konsistent fortelling hele veien? Vil du ha en modell som kan «se» og svare på spørsmål på en én times videofil? Du trenger et større kontekstvindu!
Kort sagt, Gemini 1.5s større kontekstvindu kan forbedre ytelsen til AI-modellen betydelig, redusere hallusinasjoner og øke nøyaktigheten og evnen til å følge instruksjonene bedre.
Vil Gemini 1.5 leve opp til forventningene?
Hvis alt går som planlagt, kan Gemini 1.5 potensielt overgå de beste AI-modellene på markedet. Med tanke på Googles mange feil med å bygge en stabil AI-modell, er det imidlertid viktig å være forsiktig. Å støte opp kontekstvinduet til en modell alene gjør ikke automatisk modellen bedre.
Jeg har brukt Claude 2.1s 200k kontekstvindu i flere måneder siden det ble utgitt, og en ting er klart for meg – et større kontekstvindu kan faktisk forbedre kontekstfølsomheten, men problemer med kjernemodellens ytelse kan gjøre større kontekst til et problem for dens egen.
Vil Google Gemini 1.5 gi oss en game-changer? Sosiale medier er for tiden fylt med strålende anmeldelser av Gemini 1.5 fra brukere med tidlig tilgang. Imidlertid stammer de fleste 5-stjerners anmeldelser fra hastetilfeller eller forenklede brukstilfeller. Et godt sted å sjekke hvordan Gemini 1.5 ville prestere i naturen er inne hos Google Gemini 1.5 teknisk rapport [PDF]. Rapporten viser at selv under «kontrollert testing» kunne ikke modellen hente alle de bittesmå detaljene i dokumenter godt innenfor størrelsen på kontekstvinduet.
Et én million tokens kontekstvindu er faktisk en imponerende teknisk bragd, men uten å kunne hente detaljene i et dokument på en pålitelig måte, er et større kontekstvindu av liten praktisk verdi og kan til og med bli en årsak til synkende nøyaktighet og hallusinasjoner.