Veiledning for å forhindre nettverksinntrenging

Data er en uunnværlig del av virksomheter og organisasjoner, og de er bare verdifulle når de er strukturert riktig og administrert effektivt.

I følge en statistikk finner 95 % av bedriftene i dag å administrere og strukturere ustrukturerte data som et problem.

Det er her data mining kommer inn. Det er prosessen med å oppdage, analysere og trekke ut meningsfulle mønstre og verdifull informasjon fra store sett med ustrukturerte data.

Bedrifter bruker programvare for å identifisere mønstre i store datagrupper for å lære mer om kundene og målgruppen og utvikle forretnings- og markedsføringsstrategier for å forbedre salget og redusere kostnadene.

I tillegg til denne fordelen, er svindel- og anomalideteksjon de viktigste bruksområdene for datautvinning.

Denne artikkelen forklarer avviksdeteksjon og utforsker videre hvordan det kan bidra til å forhindre datainnbrudd og nettverksinntrenging for å sikre datasikkerhet.

Hva er anomalideteksjon og dens typer?

Mens datautvinning innebærer å finne mønstre, korrelasjoner og trender som henger sammen, er det en fin måte å finne anomalier eller avvikende datapunkter i nettverket.

Anomalier i data mining er datapunkter som skiller seg fra andre datapunkter i datasettet og avviker fra datasettets normale atferdsmønster.

Anomalier kan klassifiseres i forskjellige typer og kategorier, inkludert:

• Endringer i hendelser: Referer til plutselige eller systematiske endringer fra tidligere normal oppførsel.
• Outliers: Små anomale mønstre som vises på en ikke-systematisk måte i datainnsamling. Disse kan videre klassifiseres i globale, kontekstuelle og kollektive uteliggere.
• Drifter: Gradvis, uretningsmessig og langsiktig endring i datasettet.

Dermed er anomalideteksjon en databehandlingsteknikk som er svært nyttig for å oppdage uredelige transaksjoner, håndtere casestudier med ubalanse av høy klasse og sykdomsdeteksjon for å bygge robuste datavitenskapelige modeller.

For eksempel kan et selskap ønske å analysere kontantstrømmen sin for å finne unormale eller tilbakevendende transaksjoner til en ukjent bankkonto for å oppdage svindel og foreta ytterligere undersøkelser.

Fordeler med anomalideteksjon

Deteksjon av uregelmessigheter i brukeratferd bidrar til å styrke sikkerhetssystemene og gjør dem mer presise og nøyaktige.

Den analyserer og gir mening med variert informasjon som sikkerhetssystemer gir for å identifisere trusler og potensielle risikoer i nettverket.

Her er fordelene med avviksdeteksjon for selskaper:

• Sanntidsdeteksjon av cybersikkerhetstrusler og datainnbrudd ettersom algoritmene for kunstig intelligens (AI) kontinuerlig skanner dataene dine for å finne uvanlig oppførsel.
• Det gjør sporing av unormale aktiviteter og mønstre raskere og enklere enn manuell oppdagelse av uregelmessigheter, og reduserer arbeidet og tiden som kreves for å løse trusler.
• Minimerer operasjonell risiko ved å identifisere operasjonelle feil, for eksempel plutselige ytelsesfall, før de i det hele tatt oppstår.
• Det bidrar til å eliminere store forretningsskader ved å oppdage uregelmessigheter raskt, siden uten et system for avviksdeteksjon kan det ta uker og måneder for bedrifter å identifisere potensielle trusler.

Dermed er deteksjon av anomalier en stor ressurs for bedrifter som lagrer omfattende kunde- og forretningsdatasett for å finne vekstmuligheter og eliminere sikkerhetstrusler og operasjonelle flaskehalser.

Teknikker for anomalideteksjon

Anomalideteksjon bruker flere prosedyrer og maskinlæringsalgoritmer (ML) for å overvåke data og oppdage trusler.

Her er de viktigste teknikkene for oppdagelse av anomalier:

#1. Maskinlæringsteknikker

Maskinlæringsteknikker bruker ML-algoritmer for å analysere data og oppdage anomalier. De forskjellige typene maskinlæringsalgoritmer for avviksdeteksjon inkluderer:

• Klyngealgoritmer
• Klassifiseringsalgoritmer
• Dyplæringsalgoritmer

Og de ofte brukte ML-teknikkene for avvik og trusseldeteksjon inkluderer støttevektormaskiner (SVM-er), k-betyr-klynger og autoenkodere.

#2. Statistiske teknikker

Statistiske teknikker bruker statistiske modeller for å oppdage uvanlige mønstre (som uvanlige svingninger i ytelsen til en bestemt maskin) i dataene for å oppdage verdier som faller utenfor rekkevidden til de forventede verdiene.

De vanlige teknikkene for deteksjon av statistiske anomalier inkluderer hypotesetesting, IQR, Z-score, modifisert Z-score, tetthetsestimering, boksplott, ekstremverdianalyse og histogram.

#3. Datautvinningsteknikker

Data mining-teknikker bruker dataklassifisering og klyngeteknikker for å finne anomalier i datasettet. Noen vanlige anomaliteknikker for datautvinning inkluderer spektral clustering, tetthetsbasert clustering og hovedkomponentanalyse.

Klyngedatautvinningsalgoritmer brukes til å gruppere forskjellige datapunkter i klynger basert på deres likhet for å finne datapunkter og anomalier som faller utenfor disse klyngene.

På den annen side allokerer klassifiseringsalgoritmer datapunkter til spesifikke forhåndsdefinerte klasser og oppdager datapunkter som ikke tilhører disse klassene.

#4. Regelbaserte teknikker

Som navnet antyder, bruker regelbaserte anomalideteksjonsteknikker et sett med forhåndsbestemte regler for å finne anomalier i dataene.

Disse teknikkene er relativt enklere og enklere å sette opp, men kan være lite fleksible og er kanskje ikke effektive når det gjelder å tilpasse seg endrede dataadferd og mønstre.

For eksempel kan du enkelt programmere et regelbasert system til å flagge transaksjoner som overstiger et spesifikt dollarbeløp som uredelige.

#5. Domenespesifikke teknikker

Du kan bruke domenespesifikke teknikker for å oppdage uregelmessigheter i bestemte datasystemer. Selv om de kan være svært effektive til å oppdage anomalier i spesifikke domener, kan de imidlertid være mindre effektive i andre domener utenfor det spesifiserte.

Ved å bruke domenespesifikke teknikker kan du for eksempel designe teknikker spesifikt for å finne uregelmessigheter i finansielle transaksjoner. Men de fungerer kanskje ikke for å finne anomalier eller ytelsesfall i en maskin.

Behov for maskinlæring for avviksdeteksjon

Maskinlæring er veldig viktig og svært nyttig i avviksdeteksjon.

I dag håndterer de fleste selskaper og organisasjoner som krever avvikdeteksjon enorme mengder data, fra tekst, kundeinformasjon og transaksjoner til mediefiler som bilder og videoinnhold.

Å gå gjennom alle banktransaksjoner og data som genereres hvert sekund manuelt for å gi meningsfull innsikt er nesten umulig. Dessuten står de fleste bedrifter overfor utfordringer og store vanskeligheter med å strukturere ustrukturerte data og ordne dataene på en meningsfull måte for dataanalyse.

Det er her verktøy og teknikker som maskinlæring (ML) spiller en stor rolle i å samle inn, rense, strukturere, arrangere, analysere og lagre enorme mengder ustrukturerte data.

Maskinlæringsteknikker og algoritmer behandler store datasett og gir fleksibiliteten til å bruke og kombinere ulike teknikker og algoritmer for å gi de beste resultatene.

Dessuten hjelper maskinlæring også med å strømlinjeforme anomalideteksjonsprosesser for virkelige applikasjoner og sparer verdifulle ressurser.

Her er noen flere fordeler og viktigheten av maskinlæring i avviksdeteksjon:

• Det gjør det enklere å oppdage skaleringsavvik ved å automatisere identifiseringen av mønstre og anomalier uten å kreve eksplisitt programmering.
• Maskinlæringsalgoritmer er svært tilpasningsdyktige til endrede datasettmønstre, noe som gjør dem svært effektive og robuste over tid.
• Håndterer enkelt store og komplekse datasett, noe som gjør anomalideteksjon effektiv til tross for datasettets kompleksitet.
• Sikrer tidlig identifisering og oppdagelse av uregelmessigheter ved å identifisere uregelmessigheter etter hvert som de oppstår, noe som sparer tid og ressurser.
• Maskinlæringsbaserte anomalideteksjonssystemer bidrar til å oppnå høyere nivåer av nøyaktighet i anomalideteksjon sammenlignet med tradisjonelle metoder.

Dermed hjelper deteksjon av uregelmessigheter sammen med maskinlæring raskere og mer tidlig oppdagelse av uregelmessigheter for å forhindre sikkerhetstrusler og ondsinnede brudd.

Maskinlæringsalgoritmer for deteksjon av anomalier

Du kan oppdage anomalier og uteliggere i data ved hjelp av forskjellige data mining-algoritmer for klassifisering, clustering eller assosiasjonsregellæring.

Vanligvis er disse data mining-algoritmene klassifisert i to forskjellige kategorier – overvåket og uovervåket læringsalgoritmer.

Veiledet læring

Overvåket læring er en vanlig type læringsalgoritme som består av algoritmer som støttevektormaskiner, logistisk og lineær regresjon og flerklasseklassifisering. Denne algoritmetypen er trent på merkede data, noe som betyr at treningsdatasettet inkluderer både normale inngangsdata og tilsvarende korrekt utdata eller unormale eksempler for å konstruere en prediktiv modell.

Målet er derfor å lage utgangsprediksjoner for usynlige og nye data basert på treningsdatasettmønstrene. Anvendelsene av overvåket læringsalgoritmer inkluderer bilde- og talegjenkjenning, prediktiv modellering og naturlig språkbehandling (NLP).

Uovervåket læring

Uovervåket læring trenes ikke på noen merkede data. I stedet oppdager den kompliserte prosesser og underliggende datastrukturer uten å gi opplæringsalgoritmen veiledning og i stedet for å lage spesifikke spådommer.

Anvendelsene av uovervåket læringsalgoritmer inkluderer anomalideteksjon, tetthetsestimering og datakomprimering.

La oss nå utforske noen populære maskinlæringsbaserte anomalideteksjonsalgoritmer.

Local Outlier Factor (LOF)

Local Outlier Factor eller LOF er en anomalideteksjonsalgoritme som vurderer lokal datatetthet for å bestemme om et datapunkt er en anomali.

Kilde: scikit-learn.org

Den sammenligner en gjenstands lokale tetthet med den lokale tettheten til naboene for å analysere områder med lignende tettheter og gjenstander med relativt lavere tetthet enn naboene – som ikke er annet enn anomalier eller uteliggere.

Således, enkelt sagt, er tettheten rundt en ytterside eller unormal gjenstand forskjellig fra tettheten rundt naboene. Derfor kalles denne algoritmen også en tetthetsbasert utliggerdeteksjonsalgoritme.

K-Nærmeste Nabo (K-NN)

K-NN er den enkleste klassifiserings- og overvåkede anomalideteksjonsalgoritmen som er enkel å implementere, lagrer alle tilgjengelige eksempler og data, og klassifiserer de nye eksemplene basert på likhetene i avstandsberegningene.

Kilde: towardsdatascience.com

Denne klassifiseringsalgoritmen kalles også en lat elev fordi den bare lagrer de merkede treningsdataene – uten å gjøre noe annet mens opplæringsprosessen er.

Når det nye umerkede treningsdatapunktet ankommer, ser algoritmen på de K-nærmeste eller de nærmeste treningsdatapunktene for å bruke dem til å klassifisere og bestemme klassen til det nye umerkede datapunktet.

K-NN-algoritmen bruker følgende deteksjonsmetoder for å bestemme de nærmeste datapunktene:

• Euklidisk avstand for å måle avstanden for kontinuerlige data.
• Hammeravstand for å måle nærheten eller «nærheten» til de to tekststrengene for diskrete data.

Tenk for eksempel på at treningsdatasettene dine består av to klasseetiketter, A og B. Hvis et nytt datapunkt kommer, vil algoritmen beregne avstanden mellom det nye datapunktet og hvert av datapunktene i datasettet og velge punktene som er det maksimale antallet nærmest det nye datapunktet.

Så, anta at K=3, og 2 av 3 datapunkter er merket som A, så er det nye datapunktet merket som klasse A.

Derfor fungerer K-NN-algoritmen best i dynamiske miljøer med hyppige krav til dataoppdatering.

Det er en populær avviksdeteksjons- og tekstutvinningsalgoritme med applikasjoner i finans og bedrifter for å oppdage uredelige transaksjoner og øke svindeldeteksjonsfrekvensen.

Support Vector Machine (SVM)

Støttevektormaskin er en overvåket maskinlæringsbasert anomalideteksjonsalgoritme som for det meste brukes i regresjons- og klassifiseringsproblemer.

Den bruker et flerdimensjonalt hyperplan for å segregere data i to grupper (nye og normale). Dermed fungerer hyperplanet som en beslutningsgrense som skiller de normale dataobservasjonene og de nye dataene.

Kilde: www.analyticsvidhya.com

Avstanden mellom disse to datapunktene kalles marginer.

Siden målet er å øke avstanden mellom de to punktene, bestemmer SVM det beste eller det optimale hyperplanet med maksimal margin for å sikre at avstanden mellom de to klassene er så bred som mulig.

Når det gjelder anomalideteksjon, beregner SVM marginen til den nye datapunktobservasjonen fra hyperplanet for å klassifisere den.

Hvis marginen overskrider den angitte terskelen, klassifiserer den den nye observasjonen som en anomali. Samtidig, hvis marginen er mindre enn terskelen, klassifiseres observasjonen som normal.

Dermed er SVM-algoritmene svært effektive når det gjelder å håndtere høydimensjonale og komplekse datasett.

Isolasjonsskogen

Isolation Forest er en uovervåket maskinlæringsalgoritme for deteksjon av anomalier basert på konseptet til en Random Forest Classifier.

Kilde: betterprogramming.pub

Denne algoritmen behandler tilfeldig subsamplede data i datasettet i en trestruktur basert på tilfeldige attributter. Den konstruerer flere beslutningstrær for å isolere observasjoner. Og den anser en bestemt observasjon som en anomali hvis den er isolert i færre trær basert på forurensningshastigheten.

På den måten deler isolasjonsskogalgoritmen opp datapunktene i forskjellige beslutningstrær – og sikrer at hver observasjon blir isolert fra en annen.

Anomalier ligger vanligvis borte fra datapunktklyngen – noe som gjør det lettere å identifisere uregelmessighetene sammenlignet med de vanlige datapunktene.

Isolasjonsskogalgoritmer kan enkelt håndtere kategoriske og numeriske data. Som et resultat er de raskere å trene og svært effektive når det gjelder å oppdage uregelmessigheter i høydimensjonale og store datasett.

Inter-kvartil rekkevidde

Interkvartilområde eller IQR brukes til å måle statistisk variabilitet eller statistisk spredning for å finne unormale punkter i datasettene ved å dele dem inn i kvartiler.

Kilde: morioh.com

Algoritmen sorterer dataene i stigende rekkefølge og deler settet i fire like deler. Verdiene som skiller disse delene er Q1, Q2 og Q3 – første, andre og tredje kvartil.

Her er persentilfordelingen til disse kvartilene:

• Q1 betyr den 25. persentilen av dataene.
• Q2 betyr den 50. persentilen av dataene.
• Q3 betyr den 75. persentilen av dataene.

IQR er forskjellen mellom det tredje (75.) og det første (25.) persentildatasettet, som representerer 50 % av dataene.

Bruk av IQR for avviksdeteksjon krever at du beregner IQR for datasettet og definerer de nedre og øvre grensene for dataene for å finne anomalier.

• Nedre grense: Q1 – 1,5 * IQR
• Øvre grense: Q3 + 1,5 * IQR

Vanligvis anses observasjoner som faller utenfor disse grensene som anomalier.

IQR-algoritmen er effektiv for datasett med ujevnt fordelte data og hvor distribusjonen ikke er godt forstått.

Siste ord

Cybersikkerhetsrisiko og datainnbrudd ser ikke ut til å dempe de kommende årene – og denne risikofylte industrien forventes å vokse ytterligere i 2023, og IoT-cyberangrepene alene forventes å dobles innen 2025.

Dessuten vil cyberkriminalitet koste globale selskaper og organisasjoner anslagsvis 10,3 billioner dollar årlig innen 2025.

Dette er grunnen til at behovet for avviksdeteksjonsteknikker blir mer utbredt og nødvendig i dag for å oppdage svindel og forhindre nettverksinntrenging.

Denne artikkelen vil hjelpe deg å forstå hva uregelmessigheter i datautvinning er, ulike typer uregelmessigheter og måter å forhindre nettverksinntrenging ved å bruke ML-baserte anomalideteksjonsteknikker.

Deretter kan du utforske alt om forvirringsmatrisen i maskinlæring.