JSON til CSV i Python: Rask guide med Pandas

by
Tweet
Share
Share
Pin
0 Shares

Hvorfor konvertere data fra JSON til CSV i Python?

Tenk deg en liste med 20 navn og telefonnumre skrevet i et enkelt Word-dokument. Selv om det kan være litt vanskelig å følge, er det fortsatt lesbart. Se nå for deg 200 navn, denne gangen med serienumre og adresser, sammen med telefonnumre, i ren tekst. Det er ganske uoversiktlig, ikke sant?

Ville det ikke vært mye klarere om denne informasjonen var strukturert? Helt klart! Det er nettopp derfor dataforskere og analytikere benytter seg av formaterte data når de utfører analyser. To populære formater for lagring og behandling av data er JSON og CSV.

JSON er et lett format som er kjent for datautveksling mellom applikasjoner eller servere. Formatet lagrer data i form av nøkkel-verdi-par.

CSV-filer, derimot, bruker kommaseparerte verdier for å lagre større datamengder. Selv om verdiene er adskilt med komma, blir de ofte presentert i tabellform når de brukes i Python for analyse.

Fordeler med å konvertere JSON til CSV

  • Raskere dataanalyse: Python håndterer CSV-filer raskere, noe som gjør det enklere å vise, sortere, filtrere og bearbeide data. Biblioteket Pandas i Python er spesielt nyttig for effektiv dataanalyse av CSV-filer.
  • Kompatibilitet med verktøy: Mens JSON er lett og praktisk for dataoverføring, er CSV mer egnet for visualisering og analyse i databaser og programmeringsspråk som Python.
  • Minneeffektivt: JSON inkluderer metadata, som krever mer minne. CSV, derimot, inneholder kun kommaseparerte verdier uten ekstra tegn eller metadata. CSV-filer krever også mindre minne for å behandles.
  • Lesbarhet: CSV-filer er enkle å lese og forstå når de vises i tabeller eller regneark. JSON kan være mer komplisert, spesielt med nestede objekter.
  • Ytelse: CSV-filer analyseres og behandles raskere, noe som gir bedre ytelse sammenlignet med JSON.

Hvordan konvertere JSON til CSV i Python?

Her er fremgangsmåten for å konvertere fra JSON til CSV i Python:

Trinn 1: Importer de nødvendige modulene for JSON og CSV.

import json
import csv

Trinn 2: Anta at JSON-dataene ligger i en fil som heter «json_data.json». Last inn dataene i en variabel ved å bruke `load()` funksjonen.

with open('json_data.json') as data:
    json_data = json.load(data)

Trinn 3: Opprett en CSV-fil. Bruk JSON-overskriftene som kolonnenavn og de tilhørende verdiene som celleinnhold.

headers = json_data[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
    csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
    csv_writer.writeheader()
    for row in json_data:
        csv_writer.writerow(row)

Konvertere JSON til CSV med Pandas i Python

Selv om du kan lage din egen kode for konvertering ved hjelp av JSON og CSV-bibliotekene, er Pandas en enda enklere løsning. Med Pandas kan du konvertere JSON til CSV med bare et par linjer kode.

Pandas er et Python-bibliotek som er utviklet for å håndtere og analysere store datamengder. Her er hvordan du kan konvertere JSON til CSV ved hjelp av Pandas:

Trinn 1: Importer Pandas-biblioteket i Python.

import pandas as pd

Trinn 2: Last inn JSON-dataene i en Pandas DataFrame.

data = pd.read_json('json_data.json')

Trinn 3: Skriv dataene til CSV-filen.

data.to_csv('csv_data.csv', index=False)

En fil med navnet «csv_data.csv» blir opprettet i gjeldende mappe for å lagre de konverterte dataene. Parameteren `index=False` sørger for at indekskolonnen ikke inkluderes i CSV-filen.

Det er så enkelt å konvertere JSON til CSV med Pandas.

Viktige punkter ved konvertering av store JSON-filer til CSV

  • Minne: Det første du bør tenke på ved store datamengder, er minnebruken. Å laste hele datasettet inn i en CSV-fil på en gang kan skape minneproblemer. For å unngå dette bør du behandle data i mindre deler.
  • Fjern duplikater: Redundante data øker filstørrelsen uten å tilføre verdi. Derfor bør du fjerne overflødig informasjon for å redusere filstørrelsen og dermed oppnå raskere konvertering.
  • Bruk biblioteker: Hvis du har små mengder data, kan du skrive tilpasset kode for å konvertere dem til CSV. For store datamengder er det mer effektivt å bruke biblioteker som Pandas.
  • Sikkerhetskopiering: Ta en sikkerhetskopi av dataene før du konverterer store JSON-filer til CSV. Dette gjør det mulig å gå tilbake til originalfilen dersom noe går galt under konverteringen.

Potensielle feil ved konvertering

#1. Unicode-feil

Denne feilen oppstår når du prøver å skrive spesialtegn eller ikke-ASCII tegn til en CSV-fil fra JSON-data.

Løsningen er å spesifisere en passende koding når du åpner filen. Dette kan gjøres ved å legge til `encoding` parameteren, som vist nedenfor:

with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file

#2. Verdifeil: Forventet objekt eller verdi

Denne feilen oppstår hvis det er et problem med innholdet i JSON-filen. Det skjer vanligvis når funksjonen ikke klarer å tolke JSON-objektet eller filen.

Sørg for at JSON-dataene er korrekt formatert i henhold til JSON-syntaksen. Hvis JSON-dataene inneholder nestede objekter som matriser, må du sjekke at JSON-objektene er omsluttet av `[…]` og at matrisene også er pakket inn med `[…]`. Du bør også «flate ut» dataene med `JSON.normalize` før du konverterer nestet JSON til CSV.

En vesentlig forskjell mellom JSON og CSV er at JSON ikke inneholder overskrifter. Du må derfor sørge for å håndtere CSV-overskriftene på en hensiktsmessig måte, enten ved å gi dem verdier eller la dem stå tomme. Hvis du legger til overskrifter i CSV-filen, må du også sørge for at datatypen samsvarer med de faktiske dataene i filen.

Konklusjon

Konvertering fra JSON til CSV er enkelt å utføre i Python, spesielt ved bruk av Pandas-biblioteket.

Denne artikkelen har presentert deg for hvordan du konverterer JSON-filer til CSV ved hjelp av Python, både med innebygde biblioteker og med Pandas. Vi har også sett på noen ting du bør vurdere for å sikre en smidig konverteringsprosess og noen potensielle feil du kan møte på.

Du kan også utforske muligheten for å konvertere JSON-filer til Excel.