Utforsk Språkmodeller med Chatbot Arena
I en tid hvor en rekke chatbots er lett tilgjengelige på nettet, kan det være en utfordring å finne den som best oppfyller dine spesifikke behov. Selv om man kan sammenligne to chatbots manuelt, er dette en prosess som krever både tid og innsats.
En mer effektiv og praktisk løsning er å bruke Chatbot Arena. Denne plattformen lar deg sammenligne de ulike store språkmodellene (LLM) som driver populære chatbots. Den tilbyr flere metoder for å evaluere modellene, som vi skal se nærmere på her.
Hva er Chatbot Arena?
Chatbot Arena, utviklet av LMSYS Org, er en plattform dedikert til å benchmarke ulike store språkmodeller (LLM). Den benytter Elo Rating-systemet for å rangere de ulike modellene basert på ytelse.
Chatbot Arena gir brukerne mulighet til å sammenligne og vurdere LLM-er på flere måter. Basert på tilbakemeldinger fra brukerne, publiserer Chatbot Arena en offentlig ledertavle som rangerer modellene. Dette prosjektet er støttet av HuggingFace, et åpen kildekode-alternativ til ChatGPT.
Sammenlign Anonyme LLM-er med Chatbot Arena
Kampmodusen i Chatbot Arena gir deg muligheten til å sammenligne LLM-er anonymt. For eksempel kan du sammenligne ChatGPT (GPT 3.5) med Claude. Plattformen velger tilfeldig to språkmodeller og presenterer dem for deg uten å avsløre navnene deres, slik at du kan gjøre en sammenligning basert på ytelse.
Når du gir en startprompt, henter Chatbot Arena svar fra begge modellene og viser dem side om side. Du kan gjenta svarene (for begge LLM-er) og slette historikken for å starte en ny samtale. Du kan stille flere spørsmål til du har bestemt deg for en vinner.
Etterpå kan du angi om modell A eller B var best. Når du velger vinneren, avslører Chatbot Arena identiteten til begge modellene. Denne metoden er svært nyttig fordi den eliminerer forutinntatte meninger eller popularitetsbias fra avgjørelsen din. Chatbot Arena gir deg også muligheten til å justere parametere som temperatur, Top P og maksimalt antall tokens.
Sammenlign Utvalgte LLM-er med Chatbot Arena
Hvis du har spesifikke LLM-er du ønsker å sammenligne, kan du bytte til side-ved-side-modusen i Chatbot Arena. Med unntak av muligheten til å velge LLM-er selv, fungerer denne modusen i hovedsak likt som kampmodusen. Du kan justere parametere, generere svar på nytt, slette historikken og til slutt velge en vinner.
Antall tilgjengelige LLM-er i denne modusen er imidlertid begrenset. Du kan velge mellom ulike versjoner av Llama 2, Vicuna og ChatGLM. Selv om populære LLM-er som GPT-4, GPT-3.5, Claude 1 og Claude 2 for øyeblikket ikke er tilgjengelige i denne modusen, har Chatbot Arena planer om å inkludere dem i fremtiden.
Sammenligning av LLM-er med Chatbot Arena
Uansett om du søker etter den ideelle chatbot for dine behov eller bare ønsker å utforske ulike LLM-er, er Chatbot Arena en verdifull ressurs.
Plattformen tilbyr en enkel måte å sammenligne ulike språkmodeller side om side. Og med en ledertavle som oppdateres kontinuerlig basert på brukernes tilbakemeldinger, kan du enkelt se rangeringen av de ulike modellene uten å måtte gjennomføre testene selv.