Pandas-tutorial: DataFrames in Python

• Je weet ook dat .iloc[] kijkt naar de posities in de index. Wanneer je 2 doorgeeft, krijg je terug:

48    7
49    8
50    9

• Omdat de index niet alleen gehele getallen bevat, zal .ix[] hetzelfde gedrag vertonen als iloc en kijken naar de posities in de index. Je krijgt hetzelfde resultaat als met .iloc[].

Nu het verschil tussen .iloc[], .loc[] en .ix[] duidelijk is, ben je klaar om rijen aan je DataFrame toe te voegen!

Tip: als gevolg van wat je net hebt gelezen, snap je nu ook dat het algemene advies is om .loc te gebruiken om rijen in je DataFrame in te voegen. Als je df.ix[] zou gebruiken, kun je proberen een numerieke index te refereren met de indexwaarde en per ongeluk een bestaande rij overschrijven. Dat wil je vermijden!

Bekijk het verschil nog eens in de onderstaande DataFrame:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), index= [2.5, 12.6, 4.8], columns=[48, 49, 50])

# This will make an index labeled `2` and add the new values
df.loc[2] = [11, 12, 13]
print(df)

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

2.0   11  12  13

Je ziet waarom dit verwarrend kan zijn, toch?

Een kolom toevoegen aan je DataFrame

In sommige gevallen wil je je index onderdeel maken van je DataFrame. Dat kan eenvoudig door een kolom uit je DataFrame te nemen of te verwijzen naar een kolom die je nog niet hebt gemaakt en die toe te wijzen aan de eigenschap .index, zoals hier:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])
​
# Use `.index`
df['D'] = df.index
​
# Print `df`
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

Met andere woorden, je vertelt je DataFrame dat hij kolom A als index moet nemen.

Als je echter kolommen aan je DataFrame wilt toevoegen, kun je ook dezelfde aanpak volgen als bij het toevoegen van een index aan je DataFrame: je gebruikt .loc[] of .iloc[]. In dit geval voeg je met behulp van .loc[] een Series toe aan een bestaande DataFrame:

# Study the DataFrame `df`
print(df)

# Append a column to `df`
df.loc[:, 4] = pd.Series(['5', '6', '7'], index=df.index)

# Print out `df` again to see the changes
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Onthoud dat een Series-object erg lijkt op een kolom van een DataFrame. Dat verklaart waarom je eenvoudig een Series aan een bestaande DataFrame kunt toevoegen. Merk ook op dat de eerdere opmerking over .loc[] geldig blijft, zelfs wanneer je kolommen aan je DataFrame toevoegt!

De index van je DataFrame resetten

Wanneer je index er niet helemaal uitziet zoals je wilt, kun je ervoor kiezen hem te resetten. Dat kan eenvoudig met .reset_index(). Let wel op, want je kunt verschillende argumenten doorgeven die het succes van je reset kunnen maken of breken:

# Check out the weird index of your dataframe
print(df)

# Use `reset_index()` to reset the values. 
df_reset = df.reset_index(level=0, drop=True)

# Print `df_reset`
print(df_reset)

  A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Je kunt proberen het argument drop in het bovenstaande voorbeeld te vervangen door inplace en kijken wat er gebeurt!

Let op hoe je het argument drop gebruikt om aan te geven dat je de bestaande index wilt verwijderen. Als je inplace had gebruikt, zou de oorspronkelijke index met floats als extra kolom aan je DataFrame zijn toegevoegd.

Een index verwijderen uit je DataFrame

Als je de index uit je DataFrame wilt verwijderen, moet je dat heroverwegen, want DataFrames en Series hebben altijd een index.

Wat je echter wél kunt doen is bijvoorbeeld:

• de index van je DataFrame resetten (ga terug naar de vorige sectie om te zien hoe dat gaat) of
• de indexnaam verwijderen, als die er is, door del df.index.name uit te voeren,
• dubbele indexwaarden verwijderen door de index te resetten, de duplicaten te droppen van de indexkolom die aan je DataFrame is toegevoegd en die kolom zonder duplicaten opnieuw als index in te stellen
• en tot slot: een index verwijderen, en daarmee ook een rij. Dit wordt verderop in deze tutorial uitgewerkt.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])
                  
df.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Nu je weet hoe je een index uit je DataFrame verwijdert, kun je verder met het verwijderen van kolommen en rijen!

Een kolom verwijderen uit je DataFrame

Om (een selectie van) kolommen uit je DataFrame weg te halen, kun je de methode drop() gebruiken:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Check out the DataFrame `df`
print(df)

# Drop the column with label 'A'                  
df.drop('A', axis=1, inplace=True)

# Drop the column at position 1
df.drop(df.columns[[1]], axis=1)

  A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

Je denkt nu misschien: dit is niet zo rechttoe rechtaan; Er worden wat extra argumenten doorgegeven aan de methode drop()!

• Het argument axis is ofwel 0 wanneer het rijen aanduidt en 1 als het wordt gebruikt om kolommen te droppen.
• Je kunt inplace op True zetten om de kolom te verwijderen zonder de DataFrame opnieuw te hoeven toewijzen.

Een rij verwijderen uit je DataFrame

Je kunt dubbele rijen uit je DataFrame verwijderen door df.drop_duplicates() uit te voeren. Je kunt ook rijen verwijderen uit je DataFrame waarbij je alleen rekening houdt met de dubbele waarden die in één kolom bestaan.

Bekijk dit voorbeeld:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])

# Check out your DataFrame `df`
print(df)

# Drop the duplicates in `df`
df.drop_duplicates([48], keep='last')

      48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Als er geen uniekheidscriterium is voor de verwijdering die je wilt uitvoeren, kun je de methode drop() gebruiken, waarbij je met de eigenschap index aangeeft welke rijen je uit je DataFrame wilt verwijderen:

# Check out the DataFrame `df`
print(df)

# Drop the index at position 1
df.drop(df.index[1])

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Na dit commando wil je misschien de index opnieuw resetten.

Tip: probeer zelf de index van de resulterende DataFrame te resetten! Vergeet niet het argument drop te gebruiken als je dat nodig acht.

Alle voorkomens van een string in een DataFrame vervangen

Om bepaalde strings in je DataFrame te vervangen, kun je eenvoudig replace() gebruiken: geef de waarden door die je wilt veranderen, gevolgd door de waarden waarmee je ze wilt vervangen.

Zo dus:

df = pd.DataFrame({"Student1":['OK','Awful','Acceptable'], 
                   "Student2":['Perfect','Awful','OK'], 
                   "Student3":['Acceptable','Perfect','Poor']})

# Study the DataFrame `df` first
print(df)

# Replace the strings by numerical values (0-4)
df.replace(['Awful', 'Poor', 'OK', 'Acceptable', 'Perfect'], [0, 1, 2, 3, 4]) 

     Student1 Student2    Student3

0          OK  Perfect  Acceptable

1       Awful    Awful     Perfect

2  Acceptable       OK        Poor

Let op dat er ook een argument regex is dat je enorm kan helpen wanneer je te maken krijgt met vreemde stringcombinaties:

df =  pd.DataFrame([["1\n", 2, "3\n"], [4, 5, "6\n"] ,[7, "8\n", 9]])

# Check out your DataFrame `df`
print(df)

# Replace strings by others with `regex`
df.replace({'\n': ''}, regex=True)

    0    1    2

0  1\n    2  3\n

1    4    5  6\n

2    7  8\n    9

Kortom, replace() is meestal wat je nodig hebt als je waarden of strings in je DataFrame door andere wilt vervangen!

Delen uit strings in de cellen van je DataFrame verwijderen

Ongewenste delen uit strings verwijderen is lastig werk. Gelukkig is er een eenvoudige oplossing voor dit probleem!

df =  pd.DataFrame([["+-1aAbBcC", "2", "+-3aAbBcC"], ["4", "5", "+-6aAbBcC"] ,["7", "+-8aAbBcC", "9"]])

# Check out your DataFrame
print(df)

# Delete unwanted parts from the strings in the first column
df[0] = df[0].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))

# Check out the result again
df

          0          1          2

0  +-1aAbBcC          2  +-3aAbBcC

1          4          5  +-6aAbBcC

2          7  +-8aAbBcC          9

Je gebruikt map() op kolom result om de lambda-functie elementgewijs op elk element van de kolom toe te passen. De functie zelf neemt de stringwaarde en stript het + of - aan de linkerkant, en haalt ook de zes tekens aAbBcC aan de rechterkant weg.

Tekst in een kolom opsplitsen in meerdere rijen in een DataFrame

Dit is een wat lastigere formatteringsopdracht. Toch loodst het volgende codeblok je door de stappen:

df = pd.DataFrame({"Age": [34, 22, 19], 
                   "PlusOne":[0,0,1], 
                   "Ticket":["23:44:55", "66:77:88", "43:68:05 56:34:12"]})

# Inspect your DataFrame `df`
print(df)

# Split out the two values in the third row
# Make it a Series
# Stack the values
ticket_series = df['Ticket'].str.split(' ').apply(pd.Series, 1).stack()

# Get rid of the stack:
# Drop the level to line up with the DataFrame
ticket_series.index = ticket_series.index.droplevel(-1)

print(ticket_series)

  Age  PlusOne             Ticket

0   34        0           23:44:55

1   22        0           66:77:88

2   19        1  43:68:05 56:34:12

0    23:44:55

1    66:77:88

2    43:68:05

2    56:34:12

dtype: object

          0

0  23:44:55

1  66:77:88

2  43:68:05

2  56:34:12

Kort gezegd doe je het volgende:

• Je inspecteert de DataFrame. Je ziet dat de waarden in de laatste rij en laatste kolom wat lang zijn. Het lijkt erop dat er twee tickets zijn, omdat een gast een plus-one heeft meegenomen naar het concert.
• Je pakt de kolom Ticket uit de DataFrame df en splitst strings op een spatie. Zo komen de twee tickets uiteindelijk in twee aparte rijen terecht. Vervolgens zet je deze vier waarden (de vier ticketnummers) in een Series-object:

      0         1
0  23:44:55       NaN
1  66:77:88       NaN
2  43:68:05  56:34:12

• Dat is nog niet ideaal. Er zitten NaN-waarden in! Je moet de Series stacken om ervoor te zorgen dat er geen NaN-waarden in de resulterende Series zitten.
• Vervolgens zie je dat je Series gestacked is.

0  0    23:44:55
1  0    66:77:88
2  0    43:68:05
   1    56:34:12

• Ook dat is niet ideaal. Daarom drop je het level om het uit te lijnen met de DataFrame:

0    23:44:55
1    66:77:88
2    43:68:05
2    56:34:12
dtype: object

• Dat is wat je zocht.
• Zet je Series om naar een DataFrame zodat je hem kunt joinen met je oorspronkelijke DataFrame. Om duplicaten te voorkomen, kun je de originele kolom Ticket verwijderen.

Een functie toepassen op de kolommen of rijen van je Pandas DataFrame

Je wilt de data in je DataFrame misschien aanpassen door er een functie op toe te passen. Laten we beginnen met het maken van je eigen lambda-functie:

doubler = lambda x: x*2

Tip: als je meer wilt weten over functies in Python, bekijk dan deze Python-tutorial over functies.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Study the `df` DataFrame
print(df)

# Apply the `doubler` function to the `A` DataFrame column
df['A'].apply(doubler)
 A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

0     2

1     8

2    14

Name: A, dtype: int64

Let op dat je ook de rij van je DataFrame kunt selecteren en de lambda-functie doubler daarop kunt toepassen. Onthoud dat je eenvoudig een rij uit je DataFrame kunt selecteren met .loc[] of .iloc[].

Dan voer je iets uit als dit, afhankelijk van of je je index op positie of op label wilt selecteren:

df.loc[0].apply(doubler)

Let op dat de functie apply() de functie doubler alleen toepast langs de as van je DataFrame. Dat betekent dat je ofwel de index ofwel de kolommen target. Of, met andere woorden, een rij of een kolom.

Wil je het echter op elk element toepassen, dus elementgewijs, dan kun je gebruikmaken van de functie map(). Je kunt de functie apply() in het bovenstaande codeblok gewoon vervangen door map(). Vergeet niet nog steeds de functie doubler door te geven om ervoor te zorgen dat je de waarden met 2 vermenigvuldigt.

Stel dat je deze verdubbelingsfunctie niet alleen op de kolom A van je DataFrame wilt toepassen, maar op de hele DataFrame. In dat geval kun je applymap() gebruiken om de functie doubler op elk element in de hele DataFrame toe te passen:

doubled_df = df.applymap(doubler)
print(doubled_df)

   A   B   C

0   2   4   6

1   8  10  12

2  14  16  18

Let op dat we in deze gevallen hebben gewerkt met lambda-functies of anonieme functies die tijdens runtime worden gemaakt. Je kunt echter ook je eigen functie schrijven. Bijvoorbeeld:

def doubler(x):
    if x % 2 == 0:
        return x
    else:
        return x * 2

# Use `applymap()` to apply `doubler()` to your DataFrame
doubled_df = df.applymap(doubler)

# Check the DataFrame
print(doubled_df)

   A   B   C

0   2   2   6

1   4  10   6

2  14   8  18

Wil je meer informatie over de stroom van controlestromen in Python, bekijk dan gerust onze andere bronnen.

Je DataFrame pivotten

Je kunt de functie pivot() gebruiken om een nieuwe afgeleide tabel uit je oorspronkelijke te maken. Wanneer je de functie gebruikt, kun je drie argumenten doorgeven:

1. values: hiermee geef je aan welke waarden van je oorspronkelijke DataFrame je in je draaitabel wilt zien.
2. columns: wat je hieraan doorgeeft, wordt een kolom in je resulterende tabel.
3. index: wat je hieraan doorgeeft, wordt een index in je resulterende tabel.

# Import pandas
import pandas as pd

# Create your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
        'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
        'testscore': [4, 3, 5, 7, 5, 8]})

# Use `pivot()` to pivot the DataFrame
pivot_products = products.pivot(index='category', columns='store', values='price')

# Check out the result
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           55.75    NaN   111.55

Wanneer je niet specifiek invult welke waarden je verwacht in je resulterende tabel, pivot je over meerdere kolommen:

# Import the Pandas library
import pandas as pd
​
# Construct the DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                       'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                       'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                       'testscore': [4, 3, 5, 7, 5, 8]})
​
# Use `pivot()` to pivot your DataFrame
pivot_products = products.pivot(index='category', columns='store')
​
# Check out the results
print(pivot_products)

             price                testscore             

store            Dia   Fnac Walmart       Dia Fnac Walmart

category                                                  

Cleaning       23.50    NaN   11.42       3.0  NaN     4.0

Entertainment    NaN  15.95   19.99       NaN  7.0     5.0

Tech           55.75    NaN  111.55       5.0  NaN     8.0

Let op dat je data geen rijen mag hebben met dubbele waarden voor de kolommen die je specificeert. Als dat niet zo is, krijg je een foutmelding. Als je de uniciteit van je data niet kunt garanderen, wil je in plaats daarvan de methode pivot_table gebruiken:

# Import the Pandas library
import pandas as pd

# Your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                        'price':[11.42, 23.50, 19.99, 15.95, 19.99, 111.55],
                        'testscore': [4, 3, 5, 7, 5, 8]})

# Pivot your `products` DataFrame with `pivot_table()`
pivot_products = products.pivot_table(index='category', columns='store', values='price', aggfunc='mean')

# Check out the results
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           19.99    NaN   111.55

Let op het extra argument aggfunc dat wordt doorgegeven aan de methode pivot_table. Dit argument geeft aan dat je een aggregatiefunctie gebruikt om meerdere waarden te combineren. In dit voorbeeld zie je duidelijk dat de functie mean wordt gebruikt.

stack() en unstack() gebruiken om je Pandas DataFrame te reshapen

Je hebt in sectie 5 al een voorbeeld van stacken gezien. In essentie herinner je je misschien nog dat je een DataFrame hoger maakt wanneer je hem stackt. Je verplaatst de binnenste kolomindex zodat die de binnenste rijindex wordt. Je krijgt een DataFrame terug met een index met een nieuw, binnenste niveau van rijlabels.

Het omgekeerde van stacken heet unstacken. Net als bij stack() gebruik je unstack() om de binnenste rijindex de binnenste kolomindex te laten worden.

Voor een uitleg van pands pivotten, stacken en unstacken, bekijk onze cursus Reshaping Data with pandas.

Je DataFrame reshapen met melt()

Melten is nuttig in gevallen waarin je data hebt met één of meer kolommen die identificerende variabelen zijn, terwijl alle andere kolommen als gemeten variabelen worden beschouwd.

Deze gemeten variabelen worden allemaal “ontpivot” naar de rij-as. Dat wil zeggen: terwijl de gemeten variabelen over de breedte van de DataFrame waren verspreid, zorgt de melt ervoor dat ze op de hoogte terechtkomen. Of, anders gezegd, je DataFrame wordt nu langer in plaats van breder.

Als resultaat heb je twee niet-identificerende kolommen, namelijk ‘variable’ en ‘value’.

Laten we dit illustreren met een voorbeeld:

# The `people` DataFrame
people = pd.DataFrame({'FirstName' : ['John', 'Jane'],
                       'LastName' : ['Doe', 'Austen'],
                       'BloodType' : ['A-', 'B+'],
                       'Weight' : [90, 64]})

# Use `melt()` on the `people` DataFrame
print(pd.melt(people, id_vars=['FirstName', 'LastName'], var_name='measurements'))

 FirstName LastName measurements value

0      John      Doe    BloodType    A-

1      Jane   Austen    BloodType    B+

2      John      Doe       Weight    90

3      Jane   Austen       Weight    64

Zoek je meer manieren om je data te reshapen, bekijk dan de documentatie.

Een DataFrame naar CSV wegschrijven

Om een DataFrame als CSV-bestand te schrijven, kun je to_csv() gebruiken:

import pandas as pd
df.to_csv('myDataFrame.csv')

Dat stukje code lijkt vrij simpel, maar hier beginnen voor de meesten de moeilijkheden, omdat je specifieke eisen hebt voor de output van je data. Misschien wil je geen komma als scheidingsteken, of wil je een specifieke encoding opgeven.

Geen zorgen! Je kunt extra argumenten doorgeven aan to_csv() om ervoor te zorgen dat je data wordt weggeschreven zoals jij wilt!

• Om te scheiden met een tab, gebruik je het argument sep:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t')

• Om een specifieke tekencodering te gebruiken, kun je het argument encoding gebruiken:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t', encoding='utf-8')

• Bovendien kun je specificeren hoe je NaN- of missende waarden moeten worden weergegeven, of je de header wilt uitschrijven, of je rijlabels wilt wegschrijven, of je compressie wilt, enzovoort. Je kunt de opties nalezen.

Een DataFrame naar Excel schrijven

Net als bij het wegschrijven van je DataFrame naar CSV, kun je to_excel() gebruiken om je tabel naar Excel te schrijven. Dat is echter net iets complexer:

import pandas as pd
writer = pd.ExcelWriter('myDataFrame.xlsx')
df.to_excel(writer, 'DataFrame')
writer.save()

Let wel, net als bij to_csv() heb je veel extra argumenten zoals startcol, startrow, enzovoort, om je data correct weg te schrijven. Je kunt meer leren over hoe je data importeert uit en exporteert naar CSV-bestanden met pandas in onze tutorial. 

Wil je echter meer informatie over IO-tools in Pandas, bekijk dan de pandas documentatie over DataFrames naar Excel.