Tutorial Pandas: i DataFrame in Python

• Sai anche che .iloc[] guarderà le posizioni nell’indice. Quando passi 2, otterrai:

48    7
49    8
50    9

• Poiché l’indice non contiene solo interi, .ix[] avrà lo stesso comportamento di iloc e guarderà le posizioni nell’indice. Otterrai lo stesso risultato di .iloc[].

Ora che la differenza tra .iloc[], .loc[] e .ix[] è chiara, sei pronto per provare ad aggiungere righe al tuo DataFrame!

Consiglio: come conseguenza di quanto appena letto, capisci anche che la raccomandazione generale è usare .loc per inserire righe nel DataFrame. Questo perché se usassi df.ix[], potresti provare a fare riferimento a un indice numerico con il valore dell’indice e sovrascrivere accidentalmente una riga esistente del DataFrame. Evitalo!

Guarda di nuovo la differenza nel DataFrame qui sotto:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), index= [2.5, 12.6, 4.8], columns=[48, 49, 50])

# This will make an index labeled `2` and add the new values
df.loc[2] = [11, 12, 13]
print(df)

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

2.0   11  12  13

Vedi perché tutto questo può essere confuso, giusto?

Aggiungere una colonna al tuo DataFrame

In alcuni casi, vuoi rendere l’indice parte del tuo DataFrame. Puoi farlo facilmente prendendo una colonna del DataFrame o facendo riferimento a una colonna che non hai ancora creato e assegnandola alla proprietà .index, proprio così:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])
​
# Use `.index`
df['D'] = df.index
​
# Print `df`
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

In altre parole, dici al DataFrame che dovrebbe prendere la colonna A come indice.

Tuttavia, se vuoi aggiungere colonne al tuo DataFrame, puoi anche seguire lo stesso approccio usato per aggiungere un indice: usa .loc[] o .iloc[]. In questo caso, aggiungi una Series a un DataFrame esistente con l’aiuto di .loc[]:

# Study the DataFrame `df`
print(df)

# Append a column to `df`
df.loc[:, 4] = pd.Series(['5', '6', '7'], index=df.index)

# Print out `df` again to see the changes
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Ricorda: un oggetto Series è molto simile a una colonna di un DataFrame. Questo spiega perché puoi aggiungere facilmente una Series a un DataFrame esistente. Nota anche che l’osservazione fatta prima su .loc[] resta valida anche quando aggiungi colonne al DataFrame!

Reimpostare l’indice del tuo DataFrame

Quando il tuo indice non è proprio come lo vuoi, puoi scegliere di reimpostarlo. Puoi farlo facilmente con .reset_index(). Tuttavia, fai attenzione, perché puoi passare diversi argomenti che possono determinare il successo del reset:

# Check out the weird index of your dataframe
print(df)

# Use `reset_index()` to reset the values. 
df_reset = df.reset_index(level=0, drop=True)

# Print `df_reset`
print(df_reset)

  A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Puoi provare a sostituire l’argomento drop con inplace nell’esempio sopra e vedere cosa succede!

Nota come usi l’argomento drop per indicare che vuoi eliminare l’indice precedente. Se avessi usato inplace, l’indice originale con float verrebbe aggiunto come colonna extra al DataFrame.

Eliminare un indice dal tuo DataFrame

Se vuoi rimuovere l’indice dal DataFrame, dovresti ripensarci perché DataFrame e Series hanno sempre un indice.

Tuttavia, quello che puoi fare è, per esempio:

• reimpostare l’indice del DataFrame (torna alla sezione precedente per vedere come si fa) oppure
• rimuovere il nome dell’indice, se presente, eseguendo del df.index.name,
• rimuovere i valori duplicati dell’indice reimpostandolo, eliminando i duplicati della colonna indice che è stata aggiunta al DataFrame e reimpostando nuovamente quella colonna senza duplicati come indice
• e infine, rimuovere un indice e con esso una riga. Questo è approfondito più avanti nel tutorial.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])
                  
df.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Ora che sai come rimuovere un indice dal DataFrame, puoi passare a rimuovere colonne e righe!

Eliminare una colonna dal tuo DataFrame

Per eliminare (una selezione di) colonne dal DataFrame, puoi usare il metodo drop():

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Check out the DataFrame `df`
print(df)

# Drop the column with label 'A'                  
df.drop('A', axis=1, inplace=True)

# Drop the column at position 1
df.drop(df.columns[[1]], axis=1)

  A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

Potresti pensare: beh, non è così lineare; Ci sono alcuni argomenti extra passati al metodo drop()!

• L’argomento axis è 0 quando indica le righe e 1 quando viene usato per eliminare colonne.
• Puoi impostare inplace su True per eliminare la colonna senza dover riassegnare il DataFrame.

Rimuovere una riga dal tuo DataFrame

Puoi rimuovere righe duplicate dal DataFrame eseguendo df.drop_duplicates(). Puoi anche rimuovere righe dal DataFrame tenendo conto solo dei valori duplicati presenti in una colonna.

Guarda questo esempio:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])

# Check out your DataFrame `df`
print(df)

# Drop the duplicates in `df`
df.drop_duplicates([48], keep='last')

      48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Se non c’è un criterio di unicità per l’eliminazione che vuoi eseguire, puoi usare il metodo drop(), in cui usi la proprietà index per specificare l’indice delle righe che vuoi rimuovere dal DataFrame:

# Check out the DataFrame `df`
print(df)

# Drop the index at position 1
df.drop(df.index[1])

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Dopo questo comando, potresti voler reimpostare di nuovo l’indice.

Suggerimento: prova tu stesso a reimpostare l’indice del DataFrame risultante! Non dimenticare di usare l’argomento drop se lo ritieni necessario.

Sostituire tutte le occorrenze di una stringa in un DataFrame

Per sostituire determinate stringhe nel DataFrame, puoi usare facilmente replace(): passa i valori che vuoi cambiare, seguiti dai valori con cui vuoi sostituirli.

Proprio così:

df = pd.DataFrame({"Student1":['OK','Awful','Acceptable'], 
                   "Student2":['Perfect','Awful','OK'], 
                   "Student3":['Acceptable','Perfect','Poor']})

# Study the DataFrame `df` first
print(df)

# Replace the strings by numerical values (0-4)
df.replace(['Awful', 'Poor', 'OK', 'Acceptable', 'Perfect'], [0, 1, 2, 3, 4]) 

     Student1 Student2    Student3

0          OK  Perfect  Acceptable

1       Awful    Awful     Perfect

2  Acceptable       OK        Poor

Nota che esiste anche un argomento regex che può aiutarti moltissimo quando ti trovi di fronte a strane combinazioni di stringhe:

df =  pd.DataFrame([["1\n", 2, "3\n"], [4, 5, "6\n"] ,[7, "8\n", 9]])

# Check out your DataFrame `df`
print(df)

# Replace strings by others with `regex`
df.replace({'\n': ''}, regex=True)

    0    1    2

0  1\n    2  3\n

1    4    5  6\n

2    7  8\n    9

In breve, replace() è per lo più ciò di cui hai bisogno quando vuoi sostituire valori o stringhe nel DataFrame con altri!

Rimuovere parti da stringhe nelle celle del tuo DataFrame

Rimuovere parti indesiderate di stringhe è un lavoro noioso. Per fortuna, c’è una soluzione semplice!

df =  pd.DataFrame([["+-1aAbBcC", "2", "+-3aAbBcC"], ["4", "5", "+-6aAbBcC"] ,["7", "+-8aAbBcC", "9"]])

# Check out your DataFrame
print(df)

# Delete unwanted parts from the strings in the first column
df[0] = df[0].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))

# Check out the result again
df

          0          1          2

0  +-1aAbBcC          2  +-3aAbBcC

1          4          5  +-6aAbBcC

2          7  +-8aAbBcC          9

Usi map() sulla colonna result per applicare la funzione lambda a ciascun elemento (element-wise) della colonna. La funzione prende il valore stringa e rimuove il + o il - a sinistra e rimuove anche qualsiasi dei sei caratteri aAbBcC a destra.

Dividere il testo in una colonna su più righe in un DataFrame

Questo è un compito di formattazione un po’ più difficile. Tuttavia, il prossimo blocco di codice ti guiderà attraverso i passaggi:

df = pd.DataFrame({"Age": [34, 22, 19], 
                   "PlusOne":[0,0,1], 
                   "Ticket":["23:44:55", "66:77:88", "43:68:05 56:34:12"]})

# Inspect your DataFrame `df`
print(df)

# Split out the two values in the third row
# Make it a Series
# Stack the values
ticket_series = df['Ticket'].str.split(' ').apply(pd.Series, 1).stack()

# Get rid of the stack:
# Drop the level to line up with the DataFrame
ticket_series.index = ticket_series.index.droplevel(-1)

print(ticket_series)

  Age  PlusOne             Ticket

0   34        0           23:44:55

1   22        0           66:77:88

2   19        1  43:68:05 56:34:12

0    23:44:55

1    66:77:88

2    43:68:05

2    56:34:12

dtype: object

          0

0  23:44:55

1  66:77:88

2  43:68:05

2  56:34:12

In breve, quello che fai è:

• Per prima cosa, ispezioni il DataFrame. Vedi che i valori nell’ultima riga e nell’ultima colonna sono un po’ troppo lunghi. Sembra ci siano due biglietti perché un ospite ha portato un accompagnatore al concerto.
• Prendi la colonna Ticket dal DataFrame df e dividi le stringhe su uno spazio. Questo farà sì che i due biglietti finiscano in due righe separate alla fine. Poi prendi questi quattro valori (i quattro numeri di biglietto) e li metti in un oggetto Series:

      0         1
0  23:44:55       NaN
1  66:77:88       NaN
2  43:68:05  56:34:12

• Non sembra ancora del tutto giusto. Hai valori NaN! Devi impilare (stack) la Series per assicurarti di non avere NaN nella Series risultante.
• Poi vedi che la tua Series è impilata.

0  0    23:44:55
1  0    66:77:88
2  0    43:68:05
   1    56:34:12

• Neanche questo è ideale. Ecco perché elimini il livello per riallineare con il DataFrame:

0    23:44:55
1    66:77:88
2    43:68:05
2    56:34:12
dtype: object

• È quello che stavi cercando.
• Trasforma la tua Series in un DataFrame per poterla unire di nuovo al DataFrame iniziale. Tuttavia, per evitare duplicati nel DataFrame, puoi eliminare la colonna Ticket originale.

Applicare una funzione alle colonne o alle righe del tuo DataFrame di Pandas

Potresti voler modificare i dati nel DataFrame applicando loro una funzione. Iniziamo rispondendo a questa domanda creando una funzione lambda:

doubler = lambda x: x*2

Consiglio: se vuoi saperne di più sulle funzioni in Python, considera questo tutorial sulle funzioni in Python.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Study the `df` DataFrame
print(df)

# Apply the `doubler` function to the `A` DataFrame column
df['A'].apply(doubler)
 A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

0     2

1     8

2    14

Name: A, dtype: int64

Nota che puoi anche selezionare una riga del DataFrame e applicare ad essa la funzione lambda doubler. Ricorda che puoi selezionare facilmente una riga del DataFrame usando .loc[] o .iloc[].

Quindi, eseguiresti qualcosa del genere, a seconda che tu voglia selezionare l’indice in base alla sua posizione o alla sua etichetta:

df.loc[0].apply(doubler)

Nota che la funzione apply() applica la funzione doubler solo lungo l’asse del DataFrame. Significa che prendi di mira o l’indice o le colonne. Ovvero, una riga o una colonna.

Tuttavia, se vuoi applicarla a ciascun elemento (element-wise), puoi usare la funzione map(). Puoi semplicemente sostituire la funzione apply() nel blocco di codice sopra con map(). Non dimenticare di passare comunque la funzione doubler per raddoppiare i valori.

Supponiamo che tu voglia applicare questa funzione di raddoppio non solo alla colonna A del DataFrame ma a tutto quanto. In questo caso, puoi usare applymap() per applicare la funzione doubler a ogni singolo elemento dell’intero DataFrame:

doubled_df = df.applymap(doubler)
print(doubled_df)

   A   B   C

0   2   4   6

1   8  10  12

2  14  16  18

Nota che in questi casi abbiamo lavorato con funzioni lambda o funzioni anonime create a runtime. Tuttavia, puoi anche scrivere una tua funzione. Per esempio:

def doubler(x):
    if x % 2 == 0:
        return x
    else:
        return x * 2

# Use `applymap()` to apply `doubler()` to your DataFrame
doubled_df = df.applymap(doubler)

# Check the DataFrame
print(doubled_df)

   A   B   C

0   2   2   6

1   4  10   6

2  14   8  18

Se vuoi maggiori informazioni sul flusso di controllo in Python, puoi sempre consultare le nostre altre risorse.

Eseguire il pivot del tuo DataFrame

Puoi usare la funzione pivot() per creare una nuova tabella derivata a partire da quella originale. Quando usi la funzione, puoi passare tre argomenti:

1. values: questo argomento ti consente di specificare quali valori del DataFrame originale vuoi vedere nella pivot table.
2. columns: qualunque cosa passi a questo argomento diventerà una colonna nella tabella risultante.
3. index: qualunque cosa passi a questo argomento diventerà un indice nella tabella risultante.

# Import pandas
import pandas as pd

# Create your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
        'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
        'testscore': [4, 3, 5, 7, 5, 8]})

# Use `pivot()` to pivot the DataFrame
pivot_products = products.pivot(index='category', columns='store', values='price')

# Check out the result
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           55.75    NaN   111.55

Quando non compili specificamente quali valori ti aspetti siano presenti nella tabella risultante, farai il pivot su più colonne:

# Import the Pandas library
import pandas as pd
​
# Construct the DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                       'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                       'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                       'testscore': [4, 3, 5, 7, 5, 8]})
​
# Use `pivot()` to pivot your DataFrame
pivot_products = products.pivot(index='category', columns='store')
​
# Check out the results
print(pivot_products)

             price                testscore             

store            Dia   Fnac Walmart       Dia Fnac Walmart

category                                                  

Cleaning       23.50    NaN   11.42       3.0  NaN     4.0

Entertainment    NaN  15.95   19.99       NaN  7.0     5.0

Tech           55.75    NaN  111.55       5.0  NaN     8.0

Nota che i tuoi dati non possono avere righe con valori duplicati per le colonne che specifichi. Se non è così, riceverai un messaggio di errore. Se non puoi garantire l’unicità dei dati, vorrai invece usare il metodo pivot_table:

# Import the Pandas library
import pandas as pd

# Your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                        'price':[11.42, 23.50, 19.99, 15.95, 19.99, 111.55],
                        'testscore': [4, 3, 5, 7, 5, 8]})

# Pivot your `products` DataFrame with `pivot_table()`
pivot_products = products.pivot_table(index='category', columns='store', values='price', aggfunc='mean')

# Check out the results
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           19.99    NaN   111.55

Nota l’argomento aggiuntivo aggfunc passato al metodo pivot_table. Questo argomento indica che usi una funzione di aggregazione per combinare valori multipli. In questo esempio, vedi chiaramente che viene usata la funzione mean.

Usare stack() e unstack() per rimodellare il tuo DataFrame di Pandas

Hai già visto un esempio di stacking nella sezione 5. In sostanza, potresti ricordare che quando fai lo stack di un DataFrame, lo rendi più alto. Sposti l’indice di colonna più interno per farlo diventare l’indice di riga più interno. Ottieni un DataFrame con un indice che ha un nuovo livello interno di etichette di riga.

L’inverso dello stacking si chiama unstacking. Proprio come stack(), usi unstack() per spostare l’indice di riga più interno e farlo diventare l’indice di colonna più interno.

Per una spiegazione su pivot, stacking e unstacking in pandas, dai un’occhiata al nostro corso Reshaping Data with pandas.

Rimodellare il tuo DataFrame con melt()

Il melting è utile nei casi in cui hai dati con una o più colonne che sono variabili identificative, mentre tutte le altre colonne sono considerate variabili misurate.

Queste variabili misurate vengono tutte “sbilanciate” sull’asse delle righe. Cioè, mentre le variabili misurate erano distribuite sulla larghezza del DataFrame, il melt farà in modo che vengano posizionate in altezza. In altre parole, il tuo DataFrame diventerà più lungo invece che più largo.

Di conseguenza, avrai due colonne non identificative, ovvero “variable” e “value”.

Illustriamo con un esempio:

# The `people` DataFrame
people = pd.DataFrame({'FirstName' : ['John', 'Jane'],
                       'LastName' : ['Doe', 'Austen'],
                       'BloodType' : ['A-', 'B+'],
                       'Weight' : [90, 64]})

# Use `melt()` on the `people` DataFrame
print(pd.melt(people, id_vars=['FirstName', 'LastName'], var_name='measurements'))

 FirstName LastName measurements value

0      John      Doe    BloodType    A-

1      Jane   Austen    BloodType    B+

2      John      Doe       Weight    90

3      Jane   Austen       Weight    64

Se cerchi altri modi per rimodellare i tuoi dati, consulta la documentazione.

Esportare un DataFrame in CSV

Per scrivere un DataFrame come file CSV, puoi usare to_csv():

import pandas as pd
df.to_csv('myDataFrame.csv')

Quel pezzetto di codice sembra piuttosto semplice, ma è proprio qui che iniziano le difficoltà per molti, perché potresti avere requisiti specifici per l’output dei dati. Forse non vuoi una virgola come delimitatore, o vuoi specificare una codifica particolare.

Niente paura! Puoi passare alcuni argomenti aggiuntivi a to_csv() per assicurarti che i tuoi dati vengano esportati come desideri!

• Per delimitare con una tabulazione, usa l’argomento sep:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t')

• Per usare una codifica specifica dei caratteri, puoi usare l’argomento encoding:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t', encoding='utf-8')

• Inoltre, puoi specificare come vuoi rappresentare i valori NaN o mancanti, se vuoi o meno esportare l’header, se vuoi o meno scrivere i nomi di riga, se vuoi la compressione: puoi leggere le opzioni.

Scrivere un DataFrame in Excel

In modo simile a quanto fatto per esportare il DataFrame in CSV, puoi usare to_excel() per scrivere la tua tabella in Excel. Tuttavia, è un po’ più complicato:

import pandas as pd
writer = pd.ExcelWriter('myDataFrame.xlsx')
df.to_excel(writer, 'DataFrame')
writer.save()

Nota, tuttavia, che, proprio come con to_csv(), hai molte opzioni extra come startcol, startrow e così via, per assicurarti di esportare i dati correttamente. Puoi imparare di più su come importare dati da e esportare dati in file CSV usando pandas nel nostro tutorial. 

Se, però, vuoi maggiori informazioni sugli strumenti di IO in Pandas, consulta la documentazione dei DataFrame verso Excel di pandas.