Hvordan laste ned og installere Apache Kafka [Windows and Linux]

Apache Kafka er en meldingsstrømmetjeneste som lar forskjellige applikasjoner i et distribuert system kommunisere og dele data gjennom meldinger.

Det fungerer som et pub/undersystem der produsentapplikasjoner publiserer meldinger, og forbrukersystemer abonnerer på dem.

Apache Kafka lar deg ta i bruk en løst koblet arkitektur mellom delene av systemet ditt som produserer og forbruker data. Dette gjør det enklere å designe og administrere systemet. Kafka er avhengig av Zookeeper for metadatabehandling og synkronisering av ulike elementer i klyngen.

Funksjoner av Apache Kafka

Apache Kafka har blitt populær, blant annet for å være det

  • Skalerbar gjennom klynger og partisjoner
  • Rask i stand til å utføre 2 millioner skrivinger per sekund
  • Opprettholder rekkefølgen meldingene sendes i
  • Pålitelig gjennom sitt replikasystem
  • Den kan oppgraderes med null nedetid

La oss nå utforske noen av de vanligste brukstilfellene til Kafka.

Vanlige brukstilfeller av Apache Kafka

Kafka brukes ofte til å behandle store data, registrere og samle hendelser som knappeklikk for analyser, og kombinere logger fra forskjellige deler av et system til ett sentralt sted.

Det hjelper med å muliggjøre kommunikasjon mellom ulike applikasjoner i et system og sanntidsbehandling av data fra IoT-enheter.

La oss nå sjekke ut de detaljerte trinnene for å installere Kafka på Windows og Linux.

  Windows Update laster ikke og Windows-sikkerheten åpnes ikke? (LØST) Windows 10

Installere Kafka på Windows

Først, sjekk om Java er installert på maskinen din for å installere Apache Kafka på Windows. Åpne ledeteksten i administratormodus og skriv inn kommandoen:

java --version

Hvis Java er installert, bør du få JDK-versjonsnummeret som er installert.

Hvis du får en feilmelding om at kommandoen ikke ble gjenkjent, ble ikke Java installert, og du må installere Java. For å installere Java, gå til Adoptium.net og klikk på nedlastingsknappen.

Dette bør laste ned Java-installasjonsfilen. Når nedlastingen er fullført, kjør installasjonsprogrammet. Dette bør åpne installasjonsmeldingen.

Trykk på Neste gjentatte ganger for å velge standardalternativene. Installasjonen skal da begynne. Bekreft installasjonen ved å lukke ledeteksten, åpne en annen ledetekst i administratormodus og skrive inn kommandoen:

java --version

Denne gangen bør du få JDK-versjonen du nettopp installerte. Etter at installasjonen er fullført, kan vi begynne å installere Kafka.

For å installere Kafka, gå først til Kafka-nettstedet.

Klikk på lenken, og den skal ta deg til nedlastingssiden. Last ned de siste tilgjengelige binærfilene.

Dette vil laste ned Kafka-skript og binærfiler pakket i .tgz-fil. Etter nedlasting må du pakke ut filene fra .tgz-arkivet. For å trekke ut, vil jeg bruke WinZip, som kan lastes ned fra WinZip-nettstedet.

Etter å ha pakket ut filen, flytt den til C: slik at filbanen blir C:kafka

  Fix Windows har ikke nok informasjon til å bekrefte denne sertifikatløsningen

Åpne deretter ledeteksten i administratormodus og start Zookeeper ved først å navigere til Kafka-katalogen. Og kjører filen zookeeper-server-start.bat med zookeeper.properties som konfigurasjonsfilen

cd C:kafka
binwindowszookeeper-server-start.bat configzookeeper.properties

Når Zookeeper kjører, må vi legge til den kjørbare wmic-filen som Kafka bruker i systemet vårt PATH,

set PATH=C:WindowsSystem32wbem;%PATH%;

Etter dette starter du Apache Kafka-serveren ved å åpne en annen ledetekstøkt i administratormodus og navigere til C:kafka-mappen

cd C:kafka

Start så Kafka med å løpe

binwindowskafka-server-start.bat configserver.properties

Med dette burde Kafka løpe. Du kan tilpasse serveregenskaper, for eksempel hvor loggene er skrevet i server.properties-filen.

Installerer Kafka på Linux

Først må du sørge for at systemet ditt er oppdatert ved å oppdatere alle pakkene

sudo apt update && sudo apt upgrade

Deretter sjekker du om Java er installert på maskinen din ved å kjøre

java --version

Hvis java er installert, vil du se versjonsnummeret. Men hvis det ikke er det, kan du installere det ved å bruke apt.

sudo apt install default-jdk

Etter dette kan vi installere Apache Kafka ved å laste ned binærfilene fra nettstedet.

Åpne terminalen og naviger til mappen der nedlastingen ble lagret. I mitt tilfelle må jeg navigere til nedlastingsmappen.

cd Downloads

Når du er i nedlastingsmappen, pakk ut de nedlastede filene med tar:

tar -xvzf kafka_2.13-3.3.1.tgz

Naviger til den utpakkede mappen

cd kafka_2.13-3.3.1.tgz

List opp katalogene og filene.

  Slik får du din Linux MAC-adresse

Når du er i mappen, start en Zookeeper-server ved å kjøre zookeeper-server-start.sh-skriptet som ligger i bin-katalogen til den utpakkede mappen.

Skriptet vil kreve en Zookeeper-konfigurasjonsfil. Standardfilen heter zookeeper.properties og ligger i konfigurasjonsunderkatalogen.

Så for å starte serveren, bruk kommandoen:

bin/zookeeper-server-start.sh config/zookeeper.properties

Når Zookeeper kjører, kan vi starte Apache Kafka-serveren. Kafka-server-start.sh-skriptet er også plassert i bin-katalogen. Kommandoen forventer også en konfigurasjonsfil. Standarden er server.properties lagret i konfigurasjonsfilen.

bin/kafka-server-start.sh config/server.properties

Dette burde få Apache Kafka i gang. Inne i bin-katalogen finner du mange skript for å gjøre ting som å lage emner, administrere produsenter og administrere forbrukere. Du kan også tilpasse serveregenskaper i filen server.properties.

Siste ord

I denne guiden gikk vi gjennom hvordan du installerer Java og Apache Kafka. Mens du kan installere og administrere Kafka-klynger manuelt, kan du også bruke administrerte alternativer som Amazon Web Services og Confluent.

Deretter kan du lære databehandling med Kafka og Spark.

x