Med flere chatbots tilgjengelig på nettet, kan det bli ekstremt vanskelig å velge den som dekker dine behov. Selv om du kan sammenligne to chatbots manuelt, vil det ta mye tid og krefter.
En bedre og enklere måte er å bruke Chatbot Arena for å sammenligne de forskjellige LLM-ene som driver populære chatbots. Den tilbyr et par moduser for å sammenligne de ulike modellene, som vi forklarer nedenfor.
Innholdsfortegnelse
Hva er Chatbot Arena?
Chatbot Arena er opprettet av LMSYS Org, og er en plattform for benchmarking av ulike LLM-er. Den bruker Elo Rating-systemet for å rangere de ulike modellene.
Chatbot Arena tilbyr et par måter for brukere å sammenligne og vurdere LLM-er. Basert på den innsendte tilbakemeldingen, rangerer Chatbot Arena de forskjellige LLM-ene på den offentlige ledertavlen. Prosjektet er sponset av HuggingFace, et åpen kildekode-alternativ til ChatGPT.
Hvordan sammenligne anonyme LLM-er med Chatbot Arena
Chatbot Arenas kampmodus lar deg sammenligne LLM-er anonymt. For eksempel kan du sammenligne ChatGPT (GPT 3.5) og Claude. Dette betyr at Chatbot Arena selv velger hvilke som helst to språkmodeller og, uten å avsløre navnene deres, lar deg sammenligne dem.
Når du går inn i den første ledeteksten, henter Chatbot Arena svar fra begge modellene, og presenterer dem side ved side. Plattformen lar deg gjenskape svar (for begge LLM-er) og tømme historikk for å starte en annen samtale. Du kan fortsette å stille flere spørsmål til du har valgt en klar vinner.
Deretter kan du velge om modell A er bedre eller B. Når du velger vinneren, avslører Chatbot Arena navnene på begge robotene. Denne modusen fungerer utmerket ettersom avgjørelsen din ikke påvirkes av din tidligere oppfatning eller popularitet av modellene. Chatbot Arena lar deg også justere parametere som temperatur, Top P og maks output tokens.
Hvordan sammenligne utvalgte LLM-er med Chatbot Arena
Hvis du vil sammenligne to spesifikke LLM-er, kan du bytte til Chatbot Arenas side-ved-side-modus. Bortsett fra det faktum at du kan velge LLM-ene selv, fungerer denne modusen nesten det samme som kampmodus. Du kan justere parametere, gjenskape svar, tømme historikk og velge en vinner til slutt.
Imidlertid er antallet LLM-er tilgjengelig i denne modusen begrenset. Du kan velge forskjellige versjoner av Llama 2, Vicuna og ChatGLM. Selv om de populære LLM-ene, som GPT-4, GPT-3.5, Claude 1, Claude 2, etc., for øyeblikket ikke er tilgjengelige i denne modusen, planlegger Chatbot Arena å legge dem til.
Sammenlign LLM-er som bruker Chatbot Arena
Enten du er ute etter å finne en passende chatbot for dine behov eller bare vil teste forskjellige LLM-er, er Chatbot Arena en flott plattform.
Det gir en forenklet måte å sammenligne ulike språkmodeller side ved side. Og siden den opprettholder en ledertavle basert på brukernes tilbakemeldinger, kan du direkte se rangeringene til ulike modeller uten å kjøre testene selv.