Innholdsfortegnelse
Viktige takeaways
- Mindre sensur: Lokale LLM-er tilbyr friheten til å diskutere tankevekkende emner uten restriksjonene som er pålagt offentlige chatbots, noe som åpner for mer åpne samtaler.
- Bedre personvern for data: Ved å bruke en lokal LLM, forblir alle dataene som genereres på datamaskinen din, noe som sikrer personvern og hindrer tilgang fra selskaper som kjører offentlige LLM-er.
- Frakoblet bruk: Lokale LLM-er tillater uavbrutt bruk i avsidesliggende eller isolerte områder uten pålitelig internettilgang, og gir et verdifullt verktøy i slike scenarier.
Siden ChatGPT kom i november 2022, har begrepet stor språkmodell (LLM) raskt gått over fra en nisjebetegnelse for AI-nerder til et buzzword på alles lepper. Den største lokket til en lokal LLM er muligheten til å gjenskape evnene til en chatbot som ChatGPT på datamaskinen din uten bagasjen til en skybasert versjon.
Det finnes argumenter for og imot å sette opp en lokal LLM på datamaskinen din. Vi vil kutte hypen og gi deg fakta. Bør du bruke en lokal LLM?
Fordelene ved å bruke lokale LLM-er
Hvorfor er folk så hyped om å sette opp sine egne store språkmodeller på datamaskinene sine? Utover hypen og skryteretten, hva er noen praktiske fordeler?
1. Mindre sensur
Da ChatGPT og Bing AI først kom på nettet, var tingene begge chatbotene var villige til å si og gjøre like fascinerende som de var alarmerende. Bing AI oppførte seg varmt og deilig, som om det hadde følelser. ChatGPT var villig til å bruke banneord hvis du spurte pent. På den tiden ville begge chatbotene til og med hjelpe deg med å lage en bombe hvis du brukte de riktige ledetekstene. Dette kan høres ut som alle nyanser av feil, men det å kunne gjøre hva som helst var et symbol på de ubegrensede mulighetene til språkmodellene som drev dem.
I dag har begge chatbotene blitt så strengt sensurert at de ikke en gang vil hjelpe deg med å skrive en fiktiv kriminalroman med voldelige scener. Noen AI chatbots vil ikke engang snakke om religion eller politikk. Selv om LLM-er du kan sette opp lokalt ikke er helt sensurfrie, vil mange av dem gjerne gjøre de tankevekkende tingene som de offentlige chatbotene ikke vil gjøre. Så hvis du ikke vil at en robot skal forelese deg om moral når du diskuterer emner av personlig interesse, kan det å drive en lokal LLM være veien å gå.
2. Bedre personvern
En av de viktigste grunnene til at folk velger en lokal LLM er å sikre at det som skjer på datamaskinen forblir på datamaskinen. Når du bruker en lokal LLM, er det som å ha en privat samtale i stuen din – ingen utenfor kan lytte inn. Enten du eksperimenterer med kredittkortopplysningene dine eller har sensitive personlige samtaler med LLM, lagres alle resulterende data bare på datamaskinen din. Alternativet er å bruke offentlig-vendte LLM-er som GPT-4, som gir de ansvarlige selskapene tilgang til chat-informasjonen din.
3. Frakoblet bruk
Siden internett er allment rimelig og tilgjengelig, kan offline tilgang virke som en triviell grunn til å bruke en lokal LLM. Frakoblet tilgang kan bli spesielt kritisk på avsidesliggende eller isolerte steder der internetttjenesten er upålitelig eller utilgjengelig. I slike scenarier blir en lokal LLM som opererer uavhengig av en internettforbindelse et viktig verktøy. Den lar deg fortsette å gjøre hva du vil uten avbrudd.
4. Kostnadsbesparelser
Gjennomsnittsprisen for å få tilgang til en dyktig LLM som GPT-4 eller Claude 2 er $20 per måned. Selv om det kanskje ikke virker som en alarmerende pris, får du fortsatt flere irriterende begrensninger for det beløpet. For eksempel, med GPT-4, tilgjengelig via ChatGPT, sitter du fast med en 50-melding per tre-timers tak. Du kan bare komme forbi disse grensene ved å bytte til ChatGPT Enterprise-planen, som potensielt kan koste tusenvis av dollar. Med en lokal LLM, når du har satt opp programvaren, er det ingen $20 månedlig abonnement eller gjentakende kostnader å betale. Det er som å kjøpe en bil i stedet for å stole på samkjøringstjenester. I utgangspunktet er det dyrt, men over tid sparer du penger.
5. Bedre tilpasning
Offentlig tilgjengelige AI chatbots har begrenset tilpasning på grunn av sikkerhets- og sensurproblemer. Med en lokalt vert AI-assistent kan du tilpasse modellen fullt ut for dine spesifikke behov. Du kan lære opp assistenten på proprietære data som er skreddersydd for brukstilfellene dine, noe som forbedrer relevansen og nøyaktigheten. En advokat kan for eksempel optimalisere sin lokale AI for å generere mer presis juridisk innsikt. Den viktigste fordelen er kontroll over tilpasning for dine unike krav.
Ulemper med å bruke lokale LLM-er
Før du bytter, er det noen ulemper ved å bruke en lokal LLM du bør vurdere.
1. Ressurskrevende
For å kjøre en effektiv lokal LLM, trenger du avansert maskinvare. Tenk på kraftige CPUer, mye RAM og sannsynligvis en dedikert GPU. Ikke forvent at en bærbar datamaskin med budsjett på $400 gir en god opplevelse. Svarene vil være smertefullt trege, spesielt med større AI-modeller. Det er som å kjøre banebrytende videospill – du trenger kraftige spesifikasjoner for optimal ytelse. Du kan til og med trenge spesialiserte kjøleløsninger. Poenget er at lokale LLM-er krever en investering i maskinvare på toppnivå for å få hastigheten og responsen du liker på nettbaserte LLM-er (eller til og med forbedre det). Datakravene på din side vil være betydelige sammenlignet med bruk av nettbaserte tjenester.
2. Langsommere responser og dårligere ytelse
En vanlig begrensning for lokale LLM-er er langsommere responstider. Den nøyaktige hastigheten avhenger av den spesifikke AI-modellen og maskinvaren som brukes, men de fleste oppsett henger etter nettjenester. Etter å ha opplevd umiddelbare svar fra ChatGPT, Bard og andre, kan lokale LLM-ere føle seg skurrende trege. Ord sildrer sakte ut mot å bli raskt returnert. Dette er ikke universelt sant, siden noen lokale distribusjoner oppnår god ytelse. Men gjennomsnittlige brukere står overfor et bratt fall fra den raske nettopplevelsen. Så forbered deg på et «kultursjokk» fra raske nettsystemer til tregere lokale ekvivalenter.
Kort sagt, med mindre du rocker et absolutt toppoppsett (vi snakker AMD Ryzen 5800X3D med en Nvidia RTX 4090 og nok RAM til å senke et skip), vil den totale ytelsen til din lokale LLM ikke sammenligne med de online generative AI-chatbotene du er vant til.
3. Kompleks oppsett
Å distribuere en lokal LLM er mer involvert enn bare å registrere seg for en nettbasert AI-tjeneste. Med en internettforbindelse kan ChatGPT-, Bard- eller Bing AI-kontoen din være klar til å begynne å spørre på få minutter. Å sette opp en full lokal LLM-stack krever nedlasting av rammer, konfigurering av infrastruktur og integrering av ulike komponenter. For større modeller kan denne komplekse prosessen ta timer, selv med verktøy som tar sikte på å forenkle installasjonen. Noen avanserte AI-systemer krever fortsatt dyp teknisk ekspertise for å komme i gang lokalt. Så, i motsetning til plug-and-play nettbaserte AI-modeller, innebærer det en betydelig teknisk og tidsinvestering å administrere din egen AI.
4. Begrenset kunnskap
Mange lokale LLM-er sitter fast i fortiden. De har begrenset kunnskap om aktuelle hendelser. Husker du da ChatGPT ikke fikk tilgang til internett? Når den kun kunne gi svar på spørsmål om hendelser som skjedde før september 2021? Ja? Vel, i likhet med tidlige ChatGPT-modeller, trenes lokalt vertsbaserte språkmodeller ofte kun på data før en viss frist. Som et resultat mangler de bevissthet om den siste utviklingen etter det tidspunktet.
I tillegg kan ikke lokale LLM-er få tilgang til live internettdata. Dette begrenser nytten for sanntidsspørringer som aksjekurser eller vær. For å nyte et skinn av sanntidsdata, vil lokale LLM-er vanligvis kreve et ekstra lag med integrasjon med internett-tilkoblede tjenester. Internett-tilgang er en av grunnene til at du kanskje
vurdere å oppgradere til ChatGPT Plus
!
Bør du bruke en lokal LLM?
Lokale store språkmodeller gir fristende fordeler, men har også reelle ulemper å vurdere før du tar steget. Mindre sensur, bedre personvern, offline tilgang, kostnadsbesparelser og tilpasning gjør en overbevisende sak for å sette opp LLM lokalt. Disse fordelene har imidlertid en pris. Med mange fritt tilgjengelige LLM-er på nettet, kan det å hoppe inn i lokale LLM-er være som å slå en flue med en slegge – mulig, men overkill. Men husk, hvis det er gratis, er du og dataene du genererer sannsynligvis produktet. Så det er ikke noe definitivt riktig eller galt svar i dag. Vurdere prioriteringene dine vil avgjøre om nå er det rette tidspunktet for å bytte.