Google Gemini vs. ChatGPT: Er Googles nye AI bedre?

by
Tweet
Share
Share
Pin
0 Shares

Viktige poeng

  • Googles AI-modell, Gemini, kommer i tre utgaver: Ultra, Pro og Nano, hver designet for ulike typer oppgaver og kompleksitetsnivåer.
  • Gemini Ultra viser lovende resultater i tester, men er ikke tilgjengelig for allmennheten per desember 2023. Google planlegger lansering i januar 2024.
  • Gemini Pro er tilgjengelig, men selv om den presterer godt, klarer den ikke per nå å overgå GPT-4.

Google har gjentatte ganger lovet at Gemini AI-modellen ville være overlegen OpenAIs GPT-4, som er motoren bak ChatGPT Plus. Med lanseringen av Google Gemini kan vi endelig teste den og se hvordan den står seg mot GPT-4.

Da Google introduserte Bard i mars 2023, var det stor optimisme. Endelig skulle OpenAIs ChatGPT-monopol brytes, og vi ville få en verdig konkurrent.

Men Bard ble aldri den AI-giganten mange håpet på, og GPT-4 er fortsatt den ledende generative AI-chatbottjenesten. Nå er Googles Gemini her – men lever den opp til forventningene og er den bedre enn ChatGPT?

Hva er Googles Gemini AI-modell?

Gemini er Googles mest avanserte generative AI-modell. Den er designet for å forstå og operere med ulike datatyper, som tekst, lyd, bilder og video. Google satser på en enhetlig AI-modell som kombinerer de beste egenskapene fra deres mest avanserte AI-teknologier. Gemini lanseres i tre versjoner:

  • Gemini Ultra: Den største og mest kapable varianten, laget for å håndtere svært komplekse oppgaver.
  • Gemini Pro: En modell som balanserer ytelse og skalerbarhet, egnet for et bredt spekter av oppgaver, men mindre avansert enn Ultra.
  • Gemini Nano: Den mest effektive modellen, designet for å kjøre direkte på enheter. Utviklere kan bruke Gemini Nano til å lage mobilapper eller integrerte systemer, og bringe kraftig AI til mobile plattformer.

    • I sitt offisielle blogginnlegg, The Keyword, hevder Google at Gemini Ultra overgår konkurrentene i flere tester. De sier at Gemini Ultra slår den bransjeledende GPT-4 i viktige benchmarks.

    Med en imponerende score på 90,0 % på den krevende MMLU-testen, hevder Google at Gemini Ultra er den første modellen som overgår menneskelig ytelse i denne omfattende testen som dekker 57 fag.

    Google

    Gemini Ultra er også i stand til å forstå, forklare og generere kode av høy kvalitet i mange populære programmeringsspråk som Go, JavaScript, Python, Java og C++. Dette er imponerende resultater på papiret. Men benchmarks gir ikke alltid hele bildet. Så, hvor godt presterer Gemini i praktiske oppgaver?

    Hvordan bruke Google Gemini AI

    Av de tre Gemini-variantene kan du allerede nå bruke Gemini Pro. Den er integrert i Googles chatbot Bard. For å prøve Gemini Pro i Bard, gå til bard.google.com og logg inn med din Google-konto.

    Google har sagt at Gemini Ultra lanseres i januar 2024, så vi har foreløpig kun kunnet teste Gemini Pro mot ChatGPT.

    Hvordan Gemini sammenligner seg med GPT-3.5 og GPT-4

    Når en ny AI-modell lanseres, er det vanlig å sammenligne den med OpenAIs GPT-modeller, som ofte regnes som standarden for hva andre modeller bør måles mot. Vi brukte Bard og ChatGPT til å teste Geminis evner innen matematikk, kreativ skriving, kodegenerering og bildeforståelse.

    Vi startet med et enkelt matematisk problem: -1 x -1 x -1.

    Bard prøvde først. Vi gjentok spørsmålet to ganger, og den ga feil svar hver gang. Det korrekte svaret kom først på tredje forsøk, men det teller ikke som en suksess.

    Vi testet deretter ChatGPT som bruker GPT-3.5. Den ga riktig svar på første forsøk.

    For å teste Geminis bildeforståelse, ba vi den tolke noen populære memer. Den nektet, med begrunnelse om at den ikke kan tolke bilder med mennesker. ChatGPT, med GPT-4V, var i stand til å gjøre dette feilfritt.

    Vi gjorde et nytt forsøk for å teste dens problemløsning og kodeferdigheter. Vi ga Bard, som bruker Gemini Pro, et skjermbilde og ba den om å skrive HTML- og CSS-kode for å gjenskape bildet.

    Her er det opprinnelige skjermbildet:

    Her er Gemini Pros forsøk på å tolke og gjenskape skjermbildet med HTML og CSS:

    Og her er GPT-4s forsøk på å gjenskape skjermbildet. Resultatet er ikke overraskende, gitt at GPT-4 historisk sett har vært sterk på koding. Vi har tidligere vist hvordan GPT-4 kan brukes til å bygge en webapp fra grunnen av.

    Vi ba Gemini Pro om å skrive et dikt om Tesla (elbilmerket). Det viste en liten forbedring fra tidligere tester vi har gjort. Her er resultatet:

    På dette punktet tenkte vi at det ville være mer rettferdig å sammenligne resultatene med GPT-3.5, i stedet for den mer avanserte GPT-4. Derfor ba vi ChatGPT med GPT-3.5 om å skrive et lignende dikt.

    Dette kan være en smakssak, men Gemini Pros dikt virker bedre. Vi lar deg selv bedømme.

    Er Gemini bedre enn ChatGPT?

    Før Google lanserte Bard, trodde mange at dette ville være den ChatGPT-konkurrenten vi hadde ventet på – det ble det ikke. Nå er Gemini her, men Gemini Pro virker ikke foreløpig som den modellen som kan slå ut ChatGPT.

    Google hevder at Gemini Ultra vil være betydelig bedre. Vi håper virkelig det stemmer, og at den vil leve opp til, eller overgå, forventningene som skapes av Gemini Ultra-lanseringen. Men før vi får se og teste den beste versjonen av Googles AI-verktøy, vet vi ikke om den kan utfordre andre AI-modeller. Per i dag er GPT-4 fortsatt den ubestridte AI-mesteren.