Viktige punkter
- Redusert sensur: Lokale LLM-er gir mulighet for å diskutere kontroversielle temaer uten de restriksjonene som finnes i offentlige chat-roboter, noe som fremmer mer åpne samtaler.
- Økt datasikkerhet: Når du benytter en lokal LLM, lagres all generert informasjon direkte på din maskin, noe som sikrer personvern og forhindrer tilgang fra selskaper som tilbyr offentlige LLM-er.
- Mulighet for bruk uten internett: Lokale LLM-er kan fungere uavbrutt i områder uten stabil internettforbindelse, noe som gjør dem til verdifulle hjelpemidler i slike omgivelser.
Siden ChatGPT ble lansert i november 2022, har begrepet stor språkmodell (LLM) raskt endret seg fra å være en nisjeterm for AI-entusiaster til å bli et populært uttrykk. Det mest attraktive ved en lokal LLM er muligheten til å gjenskape funksjonaliteten til en chatbot som ChatGPT på din egen datamaskin, uten ulempene ved en skybasert løsning.
Det finnes argumenter både for og imot å installere en lokal LLM på din datamaskin. Vi skal se forbi all hypen og presentere fakta. Bør du investere i en lokal LLM?
Fordeler med å benytte lokale LLM-er
Hvorfor er det så stor interesse for å sette opp egne store språkmodeller på datamaskiner? Hva er de praktiske fordelene, utover trenden og statusen?
1. Mindre sensur
Da ChatGPT og Bing AI først ble lansert, var de tingene som begge chat-robotene var villige til å si og gjøre både fascinerende og urovekkende. Bing AI oppførte seg varmt og kjærlig, som om den hadde følelser. ChatGPT var villig til å bruke stygt språk hvis du spurte pent. På den tiden ville begge chat-robotene til og med hjelpe deg med å lage en bombe dersom du brukte de rette ledetekstene. Dette kan virke som etisk uforsvarlig, men det at de kunne gjøre nesten hva som helst var et bevis på de ubegrensede mulighetene som lå i språkmodellene bak dem.
I dag er begge chat-robotene såpass sensurert at de ikke engang vil hjelpe deg med å skrive en fiktiv kriminalroman med voldelige scener. Noen AI-chat-roboter vil ikke engang diskutere religion eller politikk. Selv om LLM-er som du kan installere lokalt ikke er helt uten sensur, vil mange av dem gjerne gjøre de tingene som de offentlige chat-robotene unngår. Så, hvis du ikke ønsker at en robot skal moralisere når du diskuterer dine personlige interesseområder, kan en lokal LLM være det rette valget.
2. Bedre personvern
En viktig grunn til at mange velger en lokal LLM er for å være sikre på at det som skjer på datamaskinen, forblir på datamaskinen. Når du bruker en lokal LLM, er det som å ha en privat samtale hjemme – ingen utenforstående kan lytte. Enten du eksperimenterer med dine kredittkortopplysninger eller har konfidensielle private samtaler med LLM-en, lagres all data som produseres kun på din egen maskin. Alternativet er å benytte offentlige LLM-er som GPT-4, som gir selskapene bak tilgang til din samtalehistorikk.
3. Frakoblet bruk
Med tanke på at internett er lett tilgjengelig og rimelig, kan offline-tilgang virke som en uviktig grunn til å benytte en lokal LLM. Men offline-tilgang kan være essensielt på avsidesliggende eller isolerte steder der internettforbindelsen er upålitelig eller utilgjengelig. I slike situasjoner blir en lokal LLM som opererer uavhengig av internettforbindelse et uunnværlig verktøy. Den lar deg fortsette å arbeide uten avbrudd.
4. Kostnadsbesparelser
Gjennomsnittsprisen for tilgang til en avansert LLM som GPT-4 eller Claude 2 er rundt 20 dollar per måned. Selv om dette ikke virker som en høy pris, medfører det likevel flere begrensninger. For eksempel, med GPT-4, via ChatGPT, er du begrenset til 50 meldinger per tre-timers periode. Du kan kun overskride disse grensene ved å oppgradere til ChatGPT Enterprise-planen, som kan koste tusenvis av dollar. Med en lokal LLM, er det ingen månedlige abonnement eller tilbakevendende utgifter etter at du har installert programvaren. Det er som å kjøpe en bil i stedet for å være avhengig av samkjøringstjenester. Det er en større investering i begynnelsen, men over tid sparer du penger.
5. Bedre tilpasningsmuligheter
Offentlige AI-chat-roboter har begrenset tilpasning på grunn av sikkerhets- og sensurhensyn. Med en lokalt drevet AI-assistent, kan du tilpasse modellen i henhold til dine spesifikke behov. Du kan trene assistenten på proprietær data som er skreddersydd for dine bruksområder, noe som øker relevansen og nøyaktigheten. En advokat kan for eksempel optimalisere sin lokale AI for å gi mer presis juridisk innsikt. Den viktigste fordelen er kontroll over tilpasning for dine egne unike behov.
Ulemper med å benytte lokale LLM-er
Før du bestemmer deg, er det viktig å vurdere noen av ulempene med en lokal LLM.
1. Krever mye ressurser
For å drive en effektiv lokal LLM, trenger du kraftig maskinvare. Tenk på kraftige CPUer, mye RAM og sannsynligvis et dedikert grafikkort (GPU). Du kan ikke forvente at en budsjett-laptop til 4000 kroner gir deg en god opplevelse. Svarene vil komme veldig sakte, spesielt med større AI-modeller. Det er som å spille de nyeste videospillene – du trenger kraftige spesifikasjoner for optimal ytelse. Du kan til og med trenge spesialiserte kjøleløsninger. Poenget er at lokale LLM-er krever en investering i avansert maskinvare for å oppnå den hastigheten og responsen du opplever i nettbaserte LLM-er (eller til og med overgå dem). Maskinvarekravene på din side vil være betydelig høyere enn ved bruk av nettbaserte tjenester.
2. Langsommere responser og dårligere ytelse
En vanlig begrensning ved lokale LLM-er er langsommere responstider. Den eksakte hastigheten avhenger av den spesifikke AI-modellen og maskinvaren, men de fleste oppsett er tregere enn nettbaserte tjenester. Etter å ha opplevd raske svar fra ChatGPT, Bard og andre, kan lokale LLM-er føles veldig trege. Ordene blir presentert sakte, i motsetning til å bli returnert umiddelbart. Dette gjelder ikke alle, da noen lokale distribusjoner oppnår god ytelse. Men gjennomsnittlige brukere opplever en betydelig nedgang fra de raske nettbaserte opplevelsene. Forbered deg derfor på et «kultursjokk» fra raske nettsystemer til tregere lokale alternativer.
Kort sagt, med mindre du har en toppmoderne maskin (tenk AMD Ryzen 5800X3D med en Nvidia RTX 4090 og nok RAM til å fylle et cruiseskip), vil den totale ytelsen til din lokale LLM ikke være på høyde med de nettbaserte generative AI-chat-robotene du er vant til.
3. Kompleks installasjon
Å installere en lokal LLM er mer komplisert enn å opprette en konto for en nettbasert AI-tjeneste. Med en internettforbindelse er ChatGPT-, Bard- eller Bing AI-kontoen din klar til bruk i løpet av få minutter. Å sette opp en full lokal LLM krever nedlasting av rammeverk, konfigurering av infrastruktur og integrering av ulike komponenter. For større modeller kan denne komplekse prosessen ta flere timer, selv med verktøy som er ment å forenkle installasjonen. Noen avanserte AI-systemer krever fortsatt dyp teknisk kompetanse for å komme i gang lokalt. I motsetning til plug-and-play-baserte AI-modeller innebærer det en betydelig investering i teknisk kunnskap og tid for å administrere din egen AI.
4. Begrenset kunnskap
Mange lokale LLM-er er «låst fast» i fortiden. De har begrenset kunnskap om nåværende hendelser. Husker du da ChatGPT ikke hadde tilgang til internett? Når den bare kunne svare på spørsmål om hendelser som hadde skjedd før september 2021? Ja? Vel, på samme måte som de tidlige ChatGPT-modellene, er lokale språkmodeller ofte trent på data fra en bestemt tidsperiode. Derfor har de manglende kunnskap om de siste hendelsene etter dette tidspunktet.
I tillegg har ikke lokale LLM-er tilgang til sanntids internettdata. Dette begrenser nytten for spørsmål i sanntid som aksjekurser eller værmeldinger. For å få tilgang til noe som ligner sanntidsdata, trenger lokale LLM-er vanligvis et ekstra lag med integrasjon med internettilkoblede tjenester. Internett-tilgang er en av grunnene til at du kanskje vurderer å oppgradere til ChatGPT Plus.
Bør du investere i en lokal LLM?
Lokale store språkmodeller gir interessante fordeler, men det er også vesentlige ulemper som må vurderes før du tar et valg. Redusert sensur, forbedret personvern, offline-tilgang, kostnadsbesparelser og tilpasningsmuligheter er sterke argumenter for å installere en LLM lokalt. Disse fordelene har imidlertid en kostnad. Med mange fritt tilgjengelige LLM-er på internett, kan det å installere lokale LLM-er være som å bruke en slegge for å drepe en flue – mulig, men unødvendig. Men husk at hvis noe er gratis, er det sannsynlig at du og dataene du genererer er produktet. Det finnes ikke noe entydig riktig eller galt svar. Vurder dine prioriteringer for å avgjøre om det er riktig tidspunkt for deg å bytte.