Apache Kafka er en meldingsstrømmetjeneste som lar forskjellige applikasjoner i et distribuert system kommunisere og dele data gjennom meldinger.
Det fungerer som et pub/undersystem der produsentapplikasjoner publiserer meldinger, og forbrukersystemer abonnerer på dem.
Apache Kafka lar deg ta i bruk en løst koblet arkitektur mellom delene av systemet ditt som produserer og forbruker data. Dette gjør det enklere å designe og administrere systemet. Kafka er avhengig av Zookeeper for metadatabehandling og synkronisering av ulike elementer i klyngen.
Innholdsfortegnelse
Funksjoner av Apache Kafka
Apache Kafka har blitt populær, blant annet for å være det
- Skalerbar gjennom klynger og partisjoner
- Rask i stand til å utføre 2 millioner skrivinger per sekund
- Opprettholder rekkefølgen meldingene sendes i
- Pålitelig gjennom sitt replikasystem
- Den kan oppgraderes med null nedetid
La oss nå utforske noen av de vanligste brukstilfellene til Kafka.
Vanlige brukstilfeller av Apache Kafka
Kafka brukes ofte til å behandle store data, registrere og samle hendelser som knappeklikk for analyser, og kombinere logger fra forskjellige deler av et system til ett sentralt sted.
Det hjelper med å muliggjøre kommunikasjon mellom ulike applikasjoner i et system og sanntidsbehandling av data fra IoT-enheter.
La oss nå sjekke ut de detaljerte trinnene for å installere Kafka på Windows og Linux.
Installere Kafka på Windows
Først, sjekk om Java er installert på maskinen din for å installere Apache Kafka på Windows. Åpne ledeteksten i administratormodus og skriv inn kommandoen:
java --version
Hvis Java er installert, bør du få JDK-versjonsnummeret som er installert.
Hvis du får en feilmelding om at kommandoen ikke ble gjenkjent, ble ikke Java installert, og du må installere Java. For å installere Java, gå til Adoptium.net og klikk på nedlastingsknappen.
Dette bør laste ned Java-installasjonsfilen. Når nedlastingen er fullført, kjør installasjonsprogrammet. Dette bør åpne installasjonsmeldingen.
Trykk på Neste gjentatte ganger for å velge standardalternativene. Installasjonen skal da begynne. Bekreft installasjonen ved å lukke ledeteksten, åpne en annen ledetekst i administratormodus og skrive inn kommandoen:
java --version
Denne gangen bør du få JDK-versjonen du nettopp installerte. Etter at installasjonen er fullført, kan vi begynne å installere Kafka.
For å installere Kafka, gå først til Kafka-nettstedet.
Klikk på lenken, og den skal ta deg til nedlastingssiden. Last ned de siste tilgjengelige binærfilene.
Dette vil laste ned Kafka-skript og binærfiler pakket i .tgz-fil. Etter nedlasting må du pakke ut filene fra .tgz-arkivet. For å trekke ut, vil jeg bruke WinZip, som kan lastes ned fra WinZip-nettstedet.
Etter å ha pakket ut filen, flytt den til C: slik at filbanen blir C:kafka
Åpne deretter ledeteksten i administratormodus og start Zookeeper ved først å navigere til Kafka-katalogen. Og kjører filen zookeeper-server-start.bat med zookeeper.properties som konfigurasjonsfilen
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Når Zookeeper kjører, må vi legge til den kjørbare wmic-filen som Kafka bruker i systemet vårt PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Etter dette starter du Apache Kafka-serveren ved å åpne en annen ledetekstøkt i administratormodus og navigere til C:kafka-mappen
cd C:kafka
Start så Kafka med å løpe
binwindowskafka-server-start.bat configserver.properties
Med dette burde Kafka løpe. Du kan tilpasse serveregenskaper, for eksempel hvor loggene er skrevet i server.properties-filen.
Installerer Kafka på Linux
Først må du sørge for at systemet ditt er oppdatert ved å oppdatere alle pakkene
sudo apt update && sudo apt upgrade
Deretter sjekker du om Java er installert på maskinen din ved å kjøre
java --version
Hvis java er installert, vil du se versjonsnummeret. Men hvis det ikke er det, kan du installere det ved å bruke apt.
sudo apt install default-jdk
Etter dette kan vi installere Apache Kafka ved å laste ned binærfilene fra nettstedet.
Åpne terminalen og naviger til mappen der nedlastingen ble lagret. I mitt tilfelle må jeg navigere til nedlastingsmappen.
cd Downloads
Når du er i nedlastingsmappen, pakk ut de nedlastede filene med tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Naviger til den utpakkede mappen
cd kafka_2.13-3.3.1.tgz
List opp katalogene og filene.
Når du er i mappen, start en Zookeeper-server ved å kjøre zookeeper-server-start.sh-skriptet som ligger i bin-katalogen til den utpakkede mappen.
Skriptet vil kreve en Zookeeper-konfigurasjonsfil. Standardfilen heter zookeeper.properties og ligger i konfigurasjonsunderkatalogen.
Så for å starte serveren, bruk kommandoen:
bin/zookeeper-server-start.sh config/zookeeper.properties
Når Zookeeper kjører, kan vi starte Apache Kafka-serveren. Kafka-server-start.sh-skriptet er også plassert i bin-katalogen. Kommandoen forventer også en konfigurasjonsfil. Standarden er server.properties lagret i konfigurasjonsfilen.
bin/kafka-server-start.sh config/server.properties
Dette burde få Apache Kafka i gang. Inne i bin-katalogen finner du mange skript for å gjøre ting som å lage emner, administrere produsenter og administrere forbrukere. Du kan også tilpasse serveregenskaper i filen server.properties.
Siste ord
I denne guiden gikk vi gjennom hvordan du installerer Java og Apache Kafka. Mens du kan installere og administrere Kafka-klynger manuelt, kan du også bruke administrerte alternativer som Amazon Web Services og Confluent.
Deretter kan du lære databehandling med Kafka og Spark.