Data Mesh er en tilnærming til dataarkitektur som sikter mot å etablere en felles og autoritativ kilde for data på tvers av en hel organisasjon.
Målet er å skape en kultur og et styringssystem rundt data, som gir selvstendige team muligheten til å samarbeide og innovere ved hjelp av data. La oss utforske hva Data Mesh egentlig innebærer.
Hva er egentlig Data Mesh?
I sin enkleste form er Data Mesh en desentralisert arkitektur for datahåndtering. Det innebærer at kontroll og eierskap til data ligger hos teamene som bruker dem, istedenfor å sentralisere alt i én enkelt enhet eller avdeling.
Data Mesh fremhever viktigheten av data som en avgjørende ressurs. Den er utformet for å hjelpe organisasjoner med å forbedre datastyring, datakvalitet og dataintegrasjon, samtidig som den oppmuntrer til en kultur der beslutninger tas basert på data.
Data Mesh-arkitektur
En typisk Data Mesh-arkitektur består av tre hovedelementer: datakilder, infrastruktur og domeneorienterte datapipelines som administreres av funksjonelle eiere.
Bildet er kreditert Microsoft
- Datakilder: Dette er de forskjellige kildene som organisasjonen benytter for data, slik som databaser, API-er og sensorer.
- Datainfrastruktur: Dette er det underliggende systemet for lagring, behandling og administrering av data. Det kan inkludere datasjøer, datavarehus og andre systemer for datalagring og prosessering.
- Domeneorienterte datapipelines: Disse pipelineene brukes for å overføre data fra kildene til infrastrukturen og gjøre dem tilgjengelige for de funksjonelle teamene som trenger dem. Funksjonelle eiere er ansvarlige for å administrere disse pipelineene og sikre at dataene er av høy kvalitet og oppfyller virksomhetens behov.
Disse komponentene er integrert i stedet for å være separate datasiloer. I en Data Mesh-arkitektur har team ansvaret for dataene de benytter, inkludert kvalitet, tilgang og sikkerhet.
Denne desentraliserte tilnærmingen bidrar til å sikre effektiv bruk av data og gir teamene den informasjonen de trenger for å ta velbegrunnede beslutninger. Det fremmer også en datadrevet beslutningskultur ved å gjøre data mer tilgjengelig, transparent og pålitelig.
Trinn for å designe en Data Mesh-arkitektur
Følgende trinn kan følges for å implementere et datanettverk i en organisasjon:
#1. Identifiser virksomhetsdomener
Det første trinnet er å identifisere virksomhetens domener, som er områdene som leverer verdi til kundene. Hvert domene bør ha en tydelig eier som er ansvarlig for dataene som brukes innenfor domenet.
#2. Etabler datastyring
Det er viktig å etablere et tydelig rammeverk for datastyring for å sikre ansvarlig og etisk bruk av data. Dette inkluderer roller og ansvar for datahåndtering, standarder for datakvalitet, samt definerte prosesser for datatilgang og bruk.
#3. Definer dataeierskap
Hvert domene bør ha ansvaret for dataene det bruker, inkludert kvalitet og nøyaktighet. Domenet bør involveres i opprettelse og vedlikehold, samt bruk og formidling av data.
#4. Fremme datakompetanse
For at ansatte skal kunne ta informerte beslutninger basert på data, er det nødvendig å fremme datakompetanse. Dette kan oppnås gjennom opplæringsprogrammer og tilgang til verktøy og ressurser for å jobbe med data.
#5. Demokratiser datatilgang
Data Mesh oppmuntrer til demokratisering av data, noe som betyr at data skal være tilgjengelig for alle ansatte. Dette kan gjøres ved å tilby verktøy og ressurser som gir ansatte tilgang til og mulighet til å bruke data fra hele organisasjonen.
#6. Implementer dataoperasjoner
For å sikre at data administreres og vedlikeholdes korrekt, er det viktig å ha på plass prosesser og praksis for dataoperasjoner. Dette inkluderer oppgaver som datafangst, transformasjon, lagring og gjenfinning.
Prinsipper for Data Mesh
Data Mesh implementeres ved hjelp av prinsipper og praksiser som har som mål å skape en kultur for datadrevet beslutningstaking og gjøre det enklere for ansatte å få tilgang til og bruke data fra hele organisasjonen.
Disse fire prinsippene omfatter:
Bildet er kreditert altexsoft
#1. Domeneorientert desentralisert dataeierskap og arkitektur
Dette prinsippet fremhever viktigheten av å organisere data rundt forretningsdomener, hvor hver enhet er ansvarlig for dataene den bruker og deres kvalitet. Dette sikrer at dataene er i samsvar med virksomhetens og kundenes behov, og det forenkler tilgangen til og bruken av data fra andre deler av organisasjonen.
#2. Data som et produkt
Dette prinsippet behandler data som en verdifull ressurs som skal administreres og styres som et produkt. Dette omfatter definering av dataprodukter, etablering av dataproduktteam og utarbeidelse av et dataprodukt-veikart.
#3. Selvbetjent datainfrastruktur som plattform
Dette oppfordrer til å skape en selvbetjeningsmodell for data, hvor forretningsenhetene har mer kontroll over dataene de bruker og enklere kan få tilgang til og bruke data fra andre deler av organisasjonen.
#4. Føderert beregningsstyring
Dette prinsippet etablerer et rammeverk for datastyring som tar hensyn til behovene og målene til flere interessenter, inkludert forretningsenheter, IT og dataforskere. Dette bidrar til å sikre at data brukes på en ansvarlig og etisk måte, samtidig som det fremmer datakompetanse og datadrevet beslutningstaking.
Viktigheten av Data Mesh
Det er flere grunner til at en organisasjon bør vurdere å implementere Data Mesh:
Forbedret datakvalitet og nøyaktighet
Ved å organisere data rundt forretningsdomener og etablere klart eierskap og styring, kan Data Mesh bidra til å forbedre datakvaliteten og nøyaktigheten i organisasjonen. Dette sikrer at dataene stemmer overens med virksomhetens og kundenes behov og understøtter mer informerte beslutninger.
Forbedret datatilgjengelighet og brukervennlighet
Data Mesh fremmer demokratisering av data ved å gjøre data tilgjengelig for alle ansatte, gjennom verktøy og ressurser som gir tilgang til og mulighet til å bruke data. Dette kan forbedre datakompetansen og fremme en datadrevet beslutningskultur.
Større kontroll over data
Med Data Mesh får forretningsenhetene større kontroll over dataene de bruker og deres kvalitet. Dette sikrer at dataene er i samsvar med virksomhetens behov og er lett tilgjengelige for de som trenger dem.
Bedre datastyring
Data Mesh oppmuntrer til etablering av klare datastyringsrammer som sikrer ansvarlig og etisk bruk av data. Dette inkluderer å etablere roller og ansvar for datahåndtering, fastsette standarder for datakvalitet og nøyaktighet, og definere prosesser for datatilgang og bruk.
Samlet sett kan Data Mesh hjelpe organisasjoner med å utnytte sine datamidler bedre og fremme en kultur for datadrevet beslutningstaking.
Data Mesh vs. Data Lake
Data Mesh og Data Lake har flere forskjeller når det gjelder fokus, dataorganisering, vekt på datastyring og leseferdighet, og tilnærming til datatilgang og bruk.
Her er en sammenligning av Data Mesh og Data Lake i tabellform:
| Data Mesh | Data Lake |
| Fokuserer på behovene til virksomheten og kundene | Fokuserer på de tekniske aspektene ved datalagring og behandling |
| Organiserer data rundt forretningsdomener | Organiserer data i en hierarkisk filstruktur |
| Data eies og styres av forretningsenheter | Fokuserer ikke nødvendigvis på datastyring eller datakompetanse |
| Fremmer en kultur for datadrevet beslutningstaking | Gir et sentralisert depot for lagring og behandling av data |
| Oppmuntrer til selvbetjent datatilgang | Kan kreve IT-intervensjon for å få tilgang til og bruke data |
| Fremmer datademokratisering | Kan ha begrenset datatilgang på grunn av sikkerhets- eller personvernhensyn |
| Følger prinsippene for domenedrevet design | Følger ikke et spesifikt designrammeverk |
| Involverer datadriftsprosesser og -praksis | Har kanskje ikke spesifikke prosesser for dataoperasjoner |
| Kan kreve mer forhåndsplanlegging og design | Kan være mer fleksibelt og gi rom for ad-hoc datalagring og bearbeiding |
En datainnsjø er et sentralt lager for lagring av alle strukturerte og ustrukturerte data i hvilken som helst skala. Det er et sted for å lagre data i sin rå og detaljerte form før behandling eller transformasjon har skjedd. Dette gjør at organisasjoner kan lagre og analysere data mer fleksibelt og kostnadseffektivt enn tradisjonelle datavarehus.
Data Mesh er på den annen side utformet for å gi teamene mulighet til å eie og administrere sine egne data, istedenfor å være avhengig av en sentralisert gruppe for datahåndtering.
Data Mesh-læringsressurser
Det finnes mange ressurser online for å lære om Data Mesh, og det kan være vanskelig å velge de mest nyttige. En grundig forståelse av Data Mesh er viktig for å kunne anvende prinsippene effektivt i arbeidet ditt.
Disse ressursene kan gi et grunnlag for å forstå prinsippene og praksisene for Data Mesh og hjelpe deg med å utvikle ferdighetene du trenger for å administrere og analysere data i et Data Mesh-miljø.
#1. Data Mesh – Et moderne desentralisert dataadministrasjonskonsept
I dette Udemy-kurset presenterer instruktøren det grunnleggende om Data Mesh-arkitektur for effektiv dataadministrasjon. Det inneholder også casestudier om implementering av Data Mesh.
Dette kurset på Udemy kan fullføres innen en uke, avhengig av timeplanen din. Det er designet for å gi en omfattende oversikt over Data Mesh, og det kan ta tid å fullt ut forstå og absorbere innholdet.
#2. Data Mesh: Den komplette mesterklassen
Dette Data Mesh-kurset er utmerket for de som ønsker å fremme sin karriere. Kurset dekker hvert emne knyttet til utforming av et Data Mesh og dataproduktarkitektur.
Etter dette kurset vil du være i stand til å implementere Data Mesh-konseptet i reelle virksomheter. Det kreves ingen forkunnskaper om Data Mesh for å starte med dette kurset.
#3. Data Mesh: Leverer datadrevet verdi i stor skala
Denne boken introduserer konseptet Data Mesh og gir en oversikt over hvordan man designer en Data Mesh-arkitektur, samt en veiledning for datanettstrategi og -utførelse.
Mange anmeldere har funnet boken nyttig og praktisk for å forstå prinsippene og mønstrene for Data Mesh, og for å implementere det i organisasjoner.
Konklusjon
Data Mesh er både et designmønster og et kulturelt rammeverk for å bygge en datadrevet organisasjon. Det er basert på ideen om å skape en «enkelt kilde til sannhet» for data i en organisasjon og fremme konseptet data som et produkt.
Dette oppnås gjennom desentralisert datastyring, hvor tverrfunksjonelle team er ansvarlige for kvalitet, tilgjengelighet og vedlikehold av data innenfor sitt domene.
Data Mesh understreker også viktigheten av å etablere en klar forståelse av datakontraktene mellom ulike team, og oppfordrer til bruk av dataoppdagelsesverktøy og plattformer for å lette deling av data i organisasjonen.
Jeg håper denne artikkelen har gitt deg nyttig innsikt i Data Mesh og dens prinsipper. Du kan også være interessert i å lære om datavirtualisering.