Syntetiske Data: En Ny Ressurs for Maskinlæring og Analyse
Data spiller en stadig større rolle i utviklingen av maskinlæringsmodeller, testing av applikasjoner og avdekking av forretningsinnsikt. Imidlertid er tilgang til data ofte begrenset og strengt beskyttet av personvernhensyn. Det kan ta lang tid å få tillatelse til å bruke sensitive data. Et alternativ er å benytte syntetiske data.
Hva er Syntetiske Data?
Syntetiske data er kunstig generert informasjon som statistisk sett ligner på et eksisterende datasett. Disse dataene kan brukes sammen med ekte data for å forbedre AI-modeller, eller de kan erstatte ekte data helt. Siden syntetiske data ikke er knyttet til enkeltpersoner og ikke inneholder personlig identifiserbar informasjon, kan de være et personvernvennlig alternativ til ekte produksjonsdata.
Forskjeller Mellom Ekte og Syntetiske Data
- Den største forskjellen ligger i hvordan dataene genereres. Ekte data samles inn fra virkelige personer, enten gjennom undersøkelser eller ved bruk av applikasjoner. Syntetiske data, derimot, genereres kunstig, men beholder de statistiske egenskapene til det originale datasettet.
- En annen viktig forskjell er hvordan personvernregulering påvirker de to datatypene. For ekte data må individer være informert om hvilke data som samles inn og hvorfor, og det er strenge regler for hvordan dataene kan brukes. Disse reglene gjelder ikke for syntetiske data, siden de ikke kan spores tilbake til enkeltpersoner og ikke inneholder personlig informasjon.
- Til slutt er det en forskjell i mengden data som er tilgjengelig. Med ekte data er mengden begrenset av hva brukerne gir. Syntetiske data, derimot, kan genereres i den mengden man trenger.
Fordeler ved Bruk av Syntetiske Data
- Produksjon av syntetiske data er kostnadseffektivt, da man kan generere store datasett som ligner mindre eksisterende datasett. Dette gir maskinlæringsmodellene mer data å trene på.
- De genererte dataene er automatisk merket og renset, noe som sparer tid og krefter i forberedelsene til maskinlæring eller analyse.
- Det er ingen personvernproblemer, da dataene ikke er personlig identifiserende. Dette gjør at de kan brukes og deles fritt.
- Syntetiske data kan bidra til å redusere AI-bias ved å sikre at minoritetsgrupper er tilstrekkelig representert, noe som leder til mer rettferdig og ansvarlig AI.
Hvordan Genereres Syntetiske Data?
Genereringsprosessen varierer avhengig av hvilket verktøy som brukes, men den begynner som regel med å koble en generator til et eksisterende datasett. Deretter identifiseres personlig identifiserende data og markeres for utelukkelse eller tilsløring. Generatoren analyserer de resterende datakolonnene for å forstå datatypene og statistiske mønstre. Deretter kan man generere den mengden syntetisk data som er nødvendig. De genererte dataene kan sammenlignes med det originale datasettet for å evaluere hvor godt de syntetiske dataene reflekterer virkeligheten.
La oss nå se på noen verktøy for generering av syntetiske data:
Mostly AI
Mostly AI tilbyr en AI-drevet generator som lærer de statistiske mønstrene i et eksisterende datasett. Deretter genererer den fiktive data som samsvarer med disse mønstrene. Mostly AI kan generere hele databaser med referanseintegritet, og kan syntetisere ulike datatyper for å bygge bedre AI-modeller.
Synthesized.io
Synthesized.io brukes av ledende selskaper for AI-prosjekter. For å bruke tjenesten, spesifiser datakravene i en YAML-konfigurasjonsfil. Deretter opprettes en jobb som kjøres som en del av en datapipeline. Synthesized.io tilbyr også et gratis nivå for eksperimentering.
YData
YData lar deg generere tabell-, tidsserie-, transaksjons-, multi-tabell- og relasjonsdata. Dette bidrar til å unngå utfordringer knyttet til datainnsamling, deling og kvalitet. YData tilbyr en AI og SDK for interaksjon med plattformen, samt et gratis nivå for demonstrasjon av produktet.
Gretel AI
Gretel AI tilbyr API-er for å generere ubegrensede mengder syntetiske data. De har en åpen kildekode generator som kan installeres og brukes. Alternativt kan man benytte deres REST API eller CLI, som medfører kostnader. Prisene er rimelige og skalerer med størrelsen på virksomheten.
Kopulas
Copulas er et åpen kildekode Python-bibliotek for modellering av multivariate distribusjoner ved hjelp av copula-funksjoner. Dette biblioteket kan generere syntetiske data med de samme statistiske egenskapene som originale datasett. Prosjektet startet ved MIT i 2018 som en del av Synthetic Data Vault Project.
CTGAN
CTGAN består av generatorer som kan lære fra enkelt-tabells ekte data og generere syntetiske data fra de identifiserte mønstrene. Det er implementert som et åpen kildekode Python-bibliotek og er, i likhet med Kopulas, en del av Synthetic Data Vault Project.
DoppelGANger
DoppelGANger er en åpen kildekode implementasjon av Generative Adversarial Networks for å generere syntetiske data. DoppelGANger er spesielt nyttig for tidsseriedata, og brukes av selskaper som Gretel AI. Python-biblioteket er tilgjengelig gratis.
Synth
Synth er en åpen kildekode datagenerator som hjelper deg med å lage realistiske data tilpasset dine spesifikasjoner, samtidig som den skjuler personlig identifiserbar informasjon og utvikler testdata for dine applikasjoner. Synth kan generere sanntids-serier og relasjonsdata for maskinlæringsbehov. Synth er databaseagnostisk, og kan brukes med både SQL- og NoSQL-databaser.
SDV.dev
SDV står for Synthetic Data Vault. SDV.dev er et programvareprosjekt som startet ved MIT i 2016, og har utviklet ulike verktøy for generering av syntetiske data, inkludert Copulas, CTGAN, DeepEcho og RDT. Disse verktøyene er tilgjengelige som åpen kildekode Python-biblioteker.
Tofu
Tofu er et åpen kildekode Python-bibliotek for generering av syntetiske data basert på UK Biobank data. I motsetning til de andre verktøyene, genererer Tofu data som ligner spesifikt på biobankdata. UK Biobank er en studie av fenotypiske og genotypiske egenskaper hos 500 000 middelaldrende voksne fra Storbritannia.
Twinify
Twinify er en programvarepakke som brukes som et bibliotek eller kommandolinjeverktøy for å generere syntetiske data med samme statistiske distribusjon som sensitive data. For å bruke Twinify gir du de virkelige dataene som en CSV-fil, og programvaren lærer fra dataene for å produsere en modell som kan generere syntetiske data. Twinify er gratis å bruke.
Datanamic
Datanamic hjelper deg med å lage testdata for datadrevne og maskinlæringsapplikasjoner. Den genererer data basert på kolonneegenskaper som e-post, navn og telefonnummer. Datanamic datageneratorer kan tilpasses og støtter de fleste databaser som Oracle, MySQL, MySQL Server, MS Access og Postgres. Den sikrer referanseintegritet i de genererte dataene.
Benerator
Benerator er programvare for dataobfuskering, generering og migrering for test- og opplæringsformål. Ved bruk av Benerator beskriver man data ved hjelp av XML (Extensible Markup Language), og genererer dataene med kommandolinjeverktøy. Programvaren er laget for å være tilgjengelig for ikke-utviklere, og man kan generere milliarder av rader med data. Benerator er gratis og åpen kildekode.
Avsluttende Tanker
Gartner estimerer at innen 2030 vil det bli brukt mer syntetiske data enn ekte data i forbindelse med maskinlæring. Det er lett å se hvorfor, gitt kostnadene og personvernhensyn knyttet til bruk av ekte data. Det er derfor viktig for virksomheter å lære om syntetiske data og de ulike verktøyene som kan hjelpe dem med å generere slike data.
Du kan også utforske syntetiske overvåkingsverktøy for din nettaktivitet.