Se for deg 20 navn og deres telefonnumre skrevet i et enkelt Word-dokument. Vanskelig å følge, men likevel kan du klare å lese. Se for deg 200 navn, men denne gangen deres serienumre og adresser, sammen med telefonnumre i ren tekst. Klønete ikke sant?
Tror du ikke det ville vært mer tydelig om vi kunne se disse dataene i et strukturert format? Ja rett! Det er derfor dataforskere eller analytikere bruker formaterte data for sin analyse. To slike formater for å lagre eller arbeide med data er JSON og CSV.
JSON er lette filer kjent for datautveksling mellom applikasjoner eller servere. De lagrer data i nøkkelverdi-par.
Mens CSV-filer er kommadelte verdier for å lagre store data. Selv om de er kommadelte verdier, finner du dem ofte i tabellstruktur mens du bruker Python for analyse.
Innholdsfortegnelse
Hvorfor konvertere JSON til CSV i Python?
Raskere dataanalyse: Python-operasjoner på CSV-filer er raskere. Du kan raskt vise, sortere, filtrere og trimme data raskere når du er i CSV-format. Python har også et bibliotek kalt Pandas for effektiv dataanalyse av CSV-filer.
Støtte for ulike databehandlingsverktøy: Selv om JSON-filer er lette og enkle for datautveksling, er CSV-filer mer komfortable å visualisere og analysere ved hjelp av databaser som regneark og programmeringsspråk som Python.
Minneeffektivt: JSON-format inkluderer metadata, noe som belaster minnet, mens CSV bare er kommadelte verdier uten ekstra tegnsetting eller metadata. Dessuten krever parsing av JSON-data mer minne enn CSV.
Så sammenlignet med JSON er CSV-formatet mer minneeffektivt for lagring og behandling av store datasett.
Lesbar for mennesker: CSV-format er godt egnet for manuell inspeksjon. Når det åpnes i tabeller eller regneark, kan du enkelt lese og forstå CSV-dataene, mens JSON-formatet er noe komplisert å lese, spesielt når det inkluderer nestede objekter.
Ytelse: Parsing og behandling av CSV-filer er raskere og krever mindre minne sammenlignet med JSON-filer, noe som resulterer i optimal ytelse.
Hvordan konvertere JSON til CSV i Python?
Her er trinnene for å konvertere JSON til CSV i Python.
Trinn 1: Importer JSON og CSV innebygde moduler.
import json import csv
Trinn 2: La oss anta at vi har JSON-dataene i en fil som heter json_data.json. Les disse dataene inn i en variabel ved å bruke lastefunksjonen.
with open('json_data.json') as data:
json = json.load(data)
Trinn 3: Lag en csv-fil med JSON-overskrifter som kolonnenavn og tilsvarende verdier i cellene.
headers = json[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
csv_writer.writeheader()
for row in json:
csv_writer.writerow(row)
Hvordan konvertere JSON til CSV ved å bruke pandaer i Python?
Du kan skrive din egen tilpassede kode for konverteringen ved å bruke JSON og CSV innebygde biblioteker som vist ovenfor, men Pandas er din venn. Det gjør konverteringen enda enklere med bare to linjer med kode.
For de som ikke kjenner Pandas, er det Pythons bibliotek for å manipulere og analysere store data. Her er hvordan du enkelt kan konvertere JSON til CSV ved hjelp av Pandas.
Trinn 1: For å konvertere JSON-filer til CSV, må du først importere Pandas i Python.
Import pandas as pd
Trinn 2: Last inn JSON-dataene i Pandas DataFrame.
data = pd.read_csv('json_data.json')
Trinn 3: Skriv dataene til CSV-filen.
data.to_csv('csv_data', index=False)
Filen kalt «csv_data» vil bli opprettet i gjeldende arbeidskatalog for å lagre de konverterte CSV-dataene.
«index = False» ekskluderer her indekskolonnen i CSV-filen.
Det er det, det er så enkelt å konvertere JSON til CSV ved hjelp av Pandas.
Ting du bør vurdere når du konverterer store JSON-filer til CSV
- Minne – Det aller første problemet du vanligvis møter med store datasett er minne. Hvis du prøver å laste inn hele data til en CSV-fil på én gang, kan du få problemer med minnet. Så behandle de store dataene til CSV i biter for å unngå minneproblemer.
- Fjern redundans – Å ha de samme redundante dataene flere ganger i datasettet øker bare størrelsen, men tilfører ingen verdi til dataene. Så fjern de overflødige dataene fra datasettet ditt. På denne måten kan du redusere størrelsen på datafilen, noe som resulterer i raskere konvertering.
- Bruk biblioteker – Hvis dataene er små, kan du skrive en tilpasset Python-kode for å konvertere den til CSV, men i tilfelle store data, bør du bruke et Python-bibliotek som Pandas for å effektivt konvertere JSON til CSV.
- Sikkerhetskopiering – Ta en sikkerhetskopi av dataene dine mens du konverterer store JSON-filer til CSV. Dette hjelper deg å komme tilbake til de opprinnelige dataene hvis noe går galt med konverteringen.
Potensielle feil som kan oppstå under konvertering
#1. Unicode-feil
Du vil støte på denne feilen når du skriver spesialtegn eller ikke-ASCII-tegn til en CSV-fil fra JSON-data.
For å fikse dette, bør du spesifisere en passende koding i den åpne funksjonen som brukes når du konverterer JSON til CSV-filer.
Du kan gjøre dette ved å legge til en parameter kalt koding til den åpne funksjonen, som vist nedenfor:
with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file
#2. Verdifeil: Forventet objekt eller verdi
Denne feilen dukker opp når det er et problem med innholdet i JSON-filen, hovedsakelig når funksjonen ikke er i stand til å analysere JSON-objektet eller filen.
Så sørg for at JSON-dataene dine er godt formatert og følger JSON-syntaksen.
Dessuten, hvis JSON-dataene dine inneholder nestede objekter som arrays, sørg for at JSON-objektene er omsluttet av [..] og matrisene er pakket inn [..]. Sørg også for at dataene blir flatet ut ved å bruke «JSON.normalize» før du konverterer nestet JSON til CSV.
En av hovedforskjellene mellom JSON og CSV er at JSON-data ikke har overskrifter som CSV. Så, håndter CSV-hodene godt mens du konverterer JSON til CSV. Du kan gi dem verdier eller la dem stå tomme som du ønsker.
Men hvis du gir overskrifter til CSV-filen, sørg for at datatypen deres samsvarer med de faktiske dataene i filen.
Konklusjon
Konvertering av JSON til CSV er enkelt når det gjøres i Python. Enda enklere hvis vi bruker Pandas-biblioteket.
Så denne artikkelen viser deg hvordan du konverterer JSON-filer til CSV ved hjelp av Python. Vi har også vist deg hvordan du bruker Pandas til å effektivt konvertere JSON til CSV.
Etterfulgt av noen viktige ting å huske på for en jevnere konverteringsprosess og vanlige feil du kan støte på under konvertering.
Du kan også sjekke konvertere JSON-filer til Excel.