Hvordan bruker jeg proxy med cURL og wget?

Er du lei av å bli blokkert fra å få tilgang til bestemte nettsteder eller tjenester?

Vil du omgå disse begrensningene og få tilgang til innholdet du ønsker?

Hvis svaret ditt er ja, kan du vurdere å bruke en proxy-server gjennom kommandolinjegrensesnittet ved å bruke cURL- eller wget-verktøy.

La oss først se hva som er proxy og hvordan den fungerer.

Hva er en proxy-server?

En proxy-server fungerer som en mellommann mellom enheten din (som datamaskinen eller telefonen din) og internett.

Når du vil ha tilgang til et nettsted eller en tjeneste, går forespørselen til proxy-serveren først i stedet for direkte til destinasjonen.

Proxyserveren sender deretter forespørselen din til destinasjonsserveren på dine vegne og mottar svaret tilbake fra destinasjonsserveren. Til slutt sender proxy-serveren det svaret tilbake til enheten din.

Det er litt som å ha en personlig assistent som tar seg av all kommunikasjon mellom deg og destinasjonsserveren.

Men hvorfor bruke en proxy-server i utgangspunktet?

Vel, det er en rekke grunner.

Bruk av en proxy-server kan bidra til å beskytte personvernet og anonymiteten. Når du kobler til et nettsted eller en tjeneste via en proxy-server, er IP-adressen din skjult fra målserveren. I stedet ser serveren bare proxy-IP-adressen. Dette kan gjøre det vanskeligere for nettsteder å spore aktivitetene dine på nettet.

Og…

En annen grunn til å bruke en proxy-server er å filtrere innhold. Dette kan være spesielt nyttig for organisasjoner som ønsker å kontrollere eller begrense tilgangen til visse typer innhold.

Proxy-servere kan konfigureres til å blokkere tilgang til visse nettsteder basert på spesifikke kriterier som nøkkelord eller URL-kategorier. Dette kan bidra til å sikre at ansatte ikke går inn på upassende eller distraherende nettsteder i arbeidstiden.

Hvis du vil vite de viktigste forskjellene mellom proxy og VPN, besøk gjerne denne artikkelen.

Hvordan bruke en proxy med cURL?

cURL er et åpen kildekode-kommandolinjeverktøy designet for å overføre data mellom servere, noe som gjør det til et godt valg for tekniske veivisere over hele verden. Takket være dens imponerende kompatibilitet med et omfattende utvalg av protokoller som HTTP, FTP og SMTP.

  9 beste nettbaserte tavle for sanntidssamarbeid

Den kan håndtere selv de mest komplekse dataoverføringsoppgavene med letthet. I tillegg er dette innovative verktøyet utstyrt med en rekke sikre krypteringsmetoder som bidrar til å holde data trygge og sikre gjennom hele overføringsprosessen.

cURL er lett tilgjengelig for bruk på de fleste operativsystemer. Hvis du finner ut at det ikke er installert på systemet ditt, ikke bekymre deg – du kan enkelt laste det ned manuelt. Bare følg trinnene nedenfor for å installere cURL og låse opp dets fulle potensial.

Windows

  • Last ned den kjørbare curl-filen fra den offisielle nettsiden.
  • Pakk ut zip-filen til en mappe på datamaskinen din.
  • Legg til mappebanen til systemets PATH-miljøvariabel.

Mac os

  • Åpne terminalapplikasjonen.
  • Installer Homebrew (hvis du ikke allerede har gjort det) ved å kjøre følgende kommando.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Installer nå cURL ved å kjøre følgende kommando.
brew install curl

Linux

På de fleste Linux-distribusjoner er cURL installert som standard. I tilfelle den mangler, må du installere den ved å bruke pakkebehandlingen som er spesifikk for distribusjonen din.

For eksempel, på Ubuntu eller Debian, kan du installere cURL ved å kjøre følgende kommando.

sudo apt-get install curl

På CentOS eller Fedora kan du bruke kommandoen nedenfor.

sudo yum install curl

Når du har installert cURL, kan du teste den ved å kjøre «curl –version»-kommandoen i terminalen/kommandoprompten.

La oss gå videre til hovedemnet vårt.

Du kan bruke en proxy med cURL ved å spesifisere proxy-serveren og portnummeret i cURL-kommandoen ved å bruke -x eller -proxy-alternativet.

Her er en grunnleggende syntaks for en cURL-kommando som bruker en proxy.

curl -x <proxy-server>:<port-number> <url>

Erstatt med vertsnavnet eller IP-adressen til proxy-serveren, med portnummeret som brukes av proxyen, og med URL-en til nettstedet eller API-endepunktet du vil ha tilgang til.

Her er et eksempel.

curl -x 5.189.184.6:80  ipinfo.io

Denne kommandoen sender en forespørsel til ipinfo.io-nettstedet gjennom proxy-serveren på 5.189.184.6 på port 80. Denne prøveproxyadressen har jeg hentet fra den offentlig tilgjengelige proxy-listen. Besøk gjerne denne nettsiden hvis du leter etter en midlertidig proxy-adresse. Prøv på eget ansvar!☢️

Merk at noen ganger kan det hende du også må oppgi autentiseringslegitimasjon til proxy-serveren, i så fall kan du bruke alternativene «–proxy-user» og «–proxy-password» for å inkludere brukernavnet og passordet ditt. For eksempel:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Erstatt «brukernavn» og «passord» med din faktiske autentiseringslegitimasjon for proxy-serveren.

Tester proxy-tilkoblingen med cURL

Før du bruker proxy

  7 Programvare for overholdelse av omsetningsavgift for e-handelsbedrifter

Her kan du se at cURL viser min opprinnelige IP-adresse og plassering. Av sikkerhetsgrunner måtte jeg skjule IP-adressen min.

Etter å ha brukt en proxy

Her viser cURL proxy-adressen i stedet for min opprinnelige IP-adresse.

Hvordan bruker jeg proxy med wget?

wget er et kommandolinjeverktøy som brukes til å laste ned filer fra internett. Den kommer forhåndsinstallert på de fleste Linux-, Unix- og macOS-systemer og er også tilgjengelig for Windows.

For å installere wget på et Linux-system, kan du bruke pakkebehandlingen til distribusjonen din.

For eksempel, på Debian eller Ubuntu, kan du bruke følgende kommando:

sudo apt-get install wget

På CentOS eller Fedora

sudo yum install wget

På macOS kan du installere wget ved å bruke Homebrew.

brew install wget

På Windows kan du installere wget ved å laste ned den binære kjørbare filen fra det offisielle GNU-nettstedet og legge det til systembanen din.

Når du har installert wget, kan du bruke den til å laste ned filer fra kommandolinjen ved å spesifisere URL-en til filen du vil laste ned. For å laste ned en fil med navnet «example.zip» fra et nettsted, kan du for eksempel bruke følgende kommando:

wget http://example.com/example.zip

Du kan også bruke tilleggsalternativer for å tilpasse nedlastingen som å spesifisere utdatafilnavnet eller katalogen, begrense nedlastingshastigheten og gjenoppta avbrutt nedlasting. For å lære mer om de tilgjengelige alternativene, bruk gjerne wget-manualen ved å skrive «man wget» i terminalen din.

La oss ta et dykk inn i konfigurasjonen av proxy ved å bruke denne wgeten.

Først, Angi miljøvariablene for proxy-serveren ved å kjøre følgende kommando i terminalen.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Test om proxy-serveren er riktig konfigurert ved å kjøre følgende kommando:

wget <target-url>

Erstatt med URL-en til filen eller nettsiden du vil laste ned ved hjelp av proxy-serveren. Hvis kommandoen lykkes med å laste ned filen eller nettsiden, er proxy-serveren riktig konfigurert. Hvis det mislykkes, må du kanskje sjekke proxy-serverinnstillingene og påloggingsinformasjonen.

(Valgfritt) For å gjøre proxy-serverinnstillingene permanente, kan du legge til miljøvariablene i skallprofilfilen som ~/.bashrc eller ~/.bash_profile. Du kan legge til følgende linjer på slutten av filen:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Hvis proxy-serveren din krever autentisering, kan du inkludere brukernavnet og passordet ditt i variablene «http_proxy» og «https_proxy environment».

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Merk: Noen proxy-servere kan bruke et annet protokollskjema som sokker i stedet for «http» eller «https». I så fall må du justere skjemaet tilsvarende i miljøvariablene og URL-ene.

  Hvordan vurdere og analysere et godt bilde

Tester proxy-tilkobling med wget

Før du bruker proxy

wget viser min opprinnelige IP-adresse før jeg bruker en proxy-adresse. Av sikkerhetsgrunner måtte jeg skjule IP-adressen min.

Etter bruk av proxy

Her kan du se at wget prøver å koble til en proxy-server før du får tilgang til nettstedet.

Feilsøking av vanlige problemer

Bruk av en proxy-server med cURL og wget kan noen ganger føre til problemer. Frykt ikke, vi har noen vanlige feilsøkingstips for å få deg tilbake på sporet!

#1. Proxy-serveren svarer ikke

Hvis proxy-serveren ikke svarer, kan den være nede eller ha problemer. For å finne ut hva som skjer, prøv følgende.

  • Sjekk om proxy-serveren er oppe ved å pinge serverens IP-adresse.
  • Kontroller at du har oppgitt riktig proxy-serveradresse og portnummer.
  • Prøv å bruke en annen proxy-server for å se om problemet vedvarer.

#2. Tilkobling nektet

Å, nektet forbindelsen?

Det er ikke bra.

Denne feilen indikerer vanligvis at proxy-serveren ikke godtar tilkoblinger. Her er noen trinn for å feilsøke dette problemet:

  • Først, sjekk om proxy-serveren er konfigurert til å akseptere tilkoblinger fra din IP-adresse eller subnett.
  • Sørg for at proxy-serveren ikke blir blokkert av en brannmur eller antivirusprogramvare.
  • Og deretter, sjekk om proxy-serveren krever autentiseringslegitimasjon og sørg for at du har angitt riktig legitimasjon.

Ikke glem å prøve en annen proxy-server hvis ingen av disse tipsene fungerer.

#3. SSL/TLS-sertifikatbekreftelse mislyktes

sertifikatverifisering mislyktes?

Høres ut som et problem med SSL/TLS-sertifikatet til proxy-serveren.

For å feilsøke dette problemet, prøv følgende:

  • Sjekk sertifikatet til proxy-serveren for å sikre at det er gyldig og ikke har utløpt.
  • Hvis sertifikatet er ugyldig, kontakt proxy-serveradministratoren for å få et gyldig SSL/TLS-sertifikat.
  • Hvis sertifikatet er gyldig og fortsatt ikke fungerer. Du kan deaktivere SSL/TLS-sertifikatverifisering, men pass på at det kan sette sikkerheten din i fare.

#4. Autentisering mislyktes

Hvis proxy-serveren krever autentisering og du ikke klarer å autentisere, er det sannsynligvis fordi du har skrevet inn feil brukernavn og passord, eller at proxy-serveren bruker en annen autentiseringsmetode.

Prøv å justere autentiseringslegitimasjonen din tilsvarende eller kontakt proxy-serveradministratoren for å få hjelp.

Forfatterens notat✍️

Det er mange gratis og betalte proxy-leverandører tilgjengelig på internett, men et anbefalt alternativ for kommersiell bruk er IPRoyal. IPRoyal tilbyr et bredt spekter av proxy-løsninger for bedrifter, inkludert proxyer for boliger og datasenter med flere lokasjoner og IP-typer å velge mellom.

Det gir pålitelige og sikre proxy-tjenester for ulike brukstilfeller, for eksempel nettskraping, datautvinning og automatisering.

Jeg håper du fant denne artikkelen nyttig for å lære om bruk av proxy med cURL og wget kommandolinjeverktøy. Du kan også være interessert i å lære hvordan du anonymiserer Linux-trafikk ved hjelp av proxy-kjeder og Tor-nettverket.