Tutorial Pandas: DataFrame di Python

• Anda juga tahu bahwa .iloc[] akan melihat posisi dalam indeks. Ketika Anda meneruskan 2, Anda akan mendapatkan kembali:

48    7
49    8
50    9

• Karena indeks tidak hanya berisi integer, .ix[] akan berperilaku sama seperti iloc dan melihat posisi dalam indeks. Anda akan mendapatkan hasil yang sama seperti .iloc[].

Sekarang perbedaan antara .iloc[], .loc[] dan .ix[] sudah jelas, Anda siap mencoba menambahkan baris ke DataFrame!

Tip: sebagai konsekuensi dari apa yang baru Anda baca, Anda juga paham bahwa rekomendasi umum adalah menggunakan .loc untuk menyisipkan baris ke DataFrame. Itu karena jika Anda menggunakan df.ix[], Anda mungkin mencoba mereferensikan indeks bernilai numerik dengan nilai indeks dan tanpa sengaja menimpa baris yang sudah ada pada DataFrame. Hindari ini!

Cermati perbedaannya sekali lagi pada DataFrame di bawah:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), index= [2.5, 12.6, 4.8], columns=[48, 49, 50])

# This will make an index labeled `2` and add the new values
df.loc[2] = [11, 12, 13]
print(df)

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

2.0   11  12  13

Anda bisa melihat mengapa semua ini bisa membingungkan, bukan?

Menambahkan Kolom ke DataFrame

Dalam beberapa kasus, Anda ingin menjadikan indeks sebagai bagian dari DataFrame. Anda dapat melakukannya dengan mudah dengan mengambil sebuah kolom dari DataFrame atau merujuk ke kolom yang belum Anda buat dan menetapkannya ke properti .index, seperti ini:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])
​
# Use `.index`
df['D'] = df.index
​
# Print `df`
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

Dengan kata lain, Anda memberi tahu DataFrame bahwa ia harus mengambil kolom A sebagai indeksnya.

Namun, jika Anda ingin menambahkan kolom ke DataFrame, Anda juga bisa mengikuti pendekatan yang sama seperti saat Anda menambahkan indeks ke DataFrame: gunakan .loc[] atau .iloc[]. Dalam kasus ini, Anda menambahkan Series ke DataFrame yang sudah ada dengan bantuan .loc[]:

# Study the DataFrame `df`
print(df)

# Append a column to `df`
df.loc[:, 4] = pd.Series(['5', '6', '7'], index=df.index)

# Print out `df` again to see the changes
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Ingat bahwa objek Series sangat mirip dengan kolom DataFrame. Itulah mengapa Anda dapat dengan mudah menambahkan Series ke DataFrame yang ada. Perhatikan juga bahwa pengamatan yang dibuat sebelumnya tentang .loc[] tetap berlaku, bahkan saat Anda menambahkan kolom ke DataFrame!

Mengatur Ulang Indeks DataFrame

Ketika indeks Anda tidak tampak sesuai keinginan, Anda bisa memilih untuk mengatur ulangnya. Anda dapat melakukannya dengan mudah menggunakan .reset_index(). Namun, tetap waspada, karena Anda dapat meneruskan beberapa argumen yang bisa menentukan sukses tidaknya reset:

# Check out the weird index of your dataframe
print(df)

# Use `reset_index()` to reset the values. 
df_reset = df.reset_index(level=0, drop=True)

# Print `df_reset`
print(df_reset)

  A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Anda bisa coba mengganti argumen drop dengan inplace pada contoh di atas dan lihat apa yang terjadi!

Perhatikan bagaimana Anda menggunakan argumen drop untuk menunjukkan bahwa Anda ingin menyingkirkan indeks yang ada. Jika Anda menggunakan inplace, indeks asli dengan bilangan pecahan akan ditambahkan sebagai kolom ekstra ke DataFrame.

Menghapus Indeks dari DataFrame

Jika Anda ingin menghapus indeks dari DataFrame, sebaiknya dipikir ulang karena DataFrame dan Series selalu memiliki indeks.

Namun, yang bisa Anda lakukan misalnya:

• mengatur ulang indeks DataFrame (kembali ke bagian sebelumnya untuk melihat caranya) atau
• menghapus nama indeks, jika ada, dengan menjalankan del df.index.name,
• menghapus nilai indeks duplikat dengan mengatur ulang indeks, menghapus duplikat dari kolom indeks yang telah ditambahkan ke DataFrame, lalu menjadikan kembali kolom tanpa duplikat tersebut sebagai indeks
• dan terakhir, menghapus sebuah indeks, dan dengannya satu baris. Ini dibahas lebih lanjut pada tutorial ini.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])
                  
df.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Sekarang setelah Anda tahu cara menghapus indeks dari DataFrame, Anda bisa lanjut menghapus kolom dan baris!

Menghapus Kolom dari DataFrame

Untuk menyingkirkan (sebagian) kolom dari DataFrame, Anda dapat menggunakan metode drop():

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Check out the DataFrame `df`
print(df)

# Drop the column with label 'A'                  
df.drop('A', axis=1, inplace=True)

# Drop the column at position 1
df.drop(df.columns[[1]], axis=1)

  A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

Anda mungkin berpikir sekarang: ini tidak terlalu langsung; Ada beberapa argumen ekstra yang diteruskan ke metode drop()!

• Argumen axis bernilai 0 saat mengindikasikan baris dan 1 saat digunakan untuk menghapus kolom.
• Anda dapat menyetel inplace ke True untuk menghapus kolom tanpa harus menugaskan ulang DataFrame.

Menghapus Baris dari DataFrame

Anda dapat menghapus baris duplikat dari DataFrame dengan menjalankan df.drop_duplicates(). Anda juga dapat menghapus baris dari DataFrame dengan hanya mempertimbangkan nilai duplikat yang ada pada satu kolom.

Cermati contoh ini:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])

# Check out your DataFrame `df`
print(df)

# Drop the duplicates in `df`
df.drop_duplicates([48], keep='last')

      48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Jika tidak ada kriteria keunikan untuk penghapusan yang ingin Anda lakukan, Anda dapat menggunakan metode drop(), di mana Anda menggunakan properti index untuk menentukan indeks baris mana yang ingin Anda hapus dari DataFrame:

# Check out the DataFrame `df`
print(df)

# Drop the index at position 1
df.drop(df.index[1])

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Setelah perintah ini, Anda mungkin ingin mengatur ulang indeks lagi.

Tip: coba atur ulang indeks DataFrame hasilnya sendiri! Jangan lupa gunakan argumen drop jika Anda anggap perlu.

Mengganti Semua Kemunculan String dalam DataFrame

Untuk mengganti string tertentu dalam DataFrame, Anda dapat dengan mudah menggunakan replace(): teruskan nilai yang ingin Anda ubah, diikuti nilai penggantinya.

Seperti ini:

df = pd.DataFrame({"Student1":['OK','Awful','Acceptable'], 
                   "Student2":['Perfect','Awful','OK'], 
                   "Student3":['Acceptable','Perfect','Poor']})

# Study the DataFrame `df` first
print(df)

# Replace the strings by numerical values (0-4)
df.replace(['Awful', 'Poor', 'OK', 'Acceptable', 'Perfect'], [0, 1, 2, 3, 4]) 

     Student1 Student2    Student3

0          OK  Perfect  Acceptable

1       Awful    Awful     Perfect

2  Acceptable       OK        Poor

Perhatikan bahwa ada juga argumen regex yang dapat sangat membantu saat Anda berhadapan dengan kombinasi string yang aneh:

df =  pd.DataFrame([["1\n", 2, "3\n"], [4, 5, "6\n"] ,[7, "8\n", 9]])

# Check out your DataFrame `df`
print(df)

# Replace strings by others with `regex`
df.replace({'\n': ''}, regex=True)

    0    1    2

0  1\n    2  3\n

1    4    5  6\n

2    7  8\n    9

Singkatnya, replace() umumnya adalah yang Anda butuhkan saat ingin mengganti nilai atau string dalam DataFrame dengan yang lain!

Menghapus Bagian dari String di Sel DataFrame

Menghapus bagian yang tidak diinginkan dari string adalah pekerjaan yang merepotkan. Untungnya, ada solusi mudah!

df =  pd.DataFrame([["+-1aAbBcC", "2", "+-3aAbBcC"], ["4", "5", "+-6aAbBcC"] ,["7", "+-8aAbBcC", "9"]])

# Check out your DataFrame
print(df)

# Delete unwanted parts from the strings in the first column
df[0] = df[0].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))

# Check out the result again
df

          0          1          2

0  +-1aAbBcC          2  +-3aAbBcC

1          4          5  +-6aAbBcC

2          7  +-8aAbBcC          9

Anda menggunakan map() pada kolom result untuk menerapkan fungsi lambda ke setiap elemen pada kolom tersebut. Fungsinya mengambil nilai string dan menghapus + atau - di sebelah kiri, serta menghapus salah satu dari enam karakter aAbBcC di sebelah kanan.

Membagi Teks dalam Kolom menjadi Beberapa Baris di DataFrame

Ini sedikit tugas pemformatan yang lebih sulit. Namun, potongan kode berikut akan memandu Anda melalui langkah-langkahnya:

df = pd.DataFrame({"Age": [34, 22, 19], 
                   "PlusOne":[0,0,1], 
                   "Ticket":["23:44:55", "66:77:88", "43:68:05 56:34:12"]})

# Inspect your DataFrame `df`
print(df)

# Split out the two values in the third row
# Make it a Series
# Stack the values
ticket_series = df['Ticket'].str.split(' ').apply(pd.Series, 1).stack()

# Get rid of the stack:
# Drop the level to line up with the DataFrame
ticket_series.index = ticket_series.index.droplevel(-1)

print(ticket_series)

  Age  PlusOne             Ticket

0   34        0           23:44:55

1   22        0           66:77:88

2   19        1  43:68:05 56:34:12

0    23:44:55

1    66:77:88

2    43:68:05

2    56:34:12

dtype: object

          0

0  23:44:55

1  66:77:88

2  43:68:05

2  56:34:12

Singkatnya, yang Anda lakukan adalah:

• Pertama, Anda meninjau DataFrame yang ada. Anda melihat bahwa nilai pada baris terakhir dan kolom terakhir agak terlalu panjang. Tampaknya ada dua tiket karena seorang tamu membawa plus-one ke konser.
• Anda mengambil kolom Ticket dari DataFrame df dan memecah string berdasarkan spasi. Ini akan memastikan dua tiket pada akhirnya berada di dua baris terpisah. Selanjutnya, Anda mengambil empat nilai ini (empat nomor tiket) dan menempatkannya ke objek Series:

      0         1
0  23:44:55       NaN
1  66:77:88       NaN
2  43:68:05  56:34:12

• Itu masih belum tepat. Ada nilai NaN di sana! Anda harus menumpuk (stack) Series untuk memastikan tidak ada nilai NaN pada Series hasil.
• Selanjutnya, Anda melihat bahwa Series Anda sudah distack.

0  0    23:44:55
1  0    66:77:88
2  0    43:68:05
   1    56:34:12

• Itu juga belum ideal. Itulah mengapa Anda menurunkan level untuk merapikan dengan DataFrame:

0    23:44:55
1    66:77:88
2    43:68:05
2    56:34:12
dtype: object

• Itu yang Anda cari.
• Ubah Series menjadi DataFrame agar bisa digabungkan kembali ke DataFrame awal Anda. Namun, untuk menghindari duplikat pada DataFrame, Anda dapat menghapus kolom Ticket asli.

Menerapkan Fungsi ke Kolom atau Baris Pandas DataFrame

Anda mungkin ingin menyesuaikan data pada DataFrame dengan menerapkan sebuah fungsi. Mari mulai menjawab pertanyaan ini dengan membuat fungsi lambda Anda sendiri:

doubler = lambda x: x*2

Tip: jika Anda ingin tahu lebih banyak tentang fungsi di Python, pertimbangkan untuk mengikuti tutorial fungsi Python ini.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Study the `df` DataFrame
print(df)

# Apply the `doubler` function to the `A` DataFrame column
df['A'].apply(doubler)
 A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

0     2

1     8

2    14

Name: A, dtype: int64

Perhatikan bahwa Anda juga dapat memilih baris dari DataFrame dan menerapkan fungsi lambda doubler padanya. Ingat bahwa Anda dapat dengan mudah memilih baris dari DataFrame dengan menggunakan .loc[] atau .iloc[].

Lalu, Anda akan mengeksekusi sesuatu seperti ini, tergantung apakah Anda ingin memilih indeks berdasarkan posisinya atau berdasarkan labelnya:

df.loc[0].apply(doubler)

Perhatikan bahwa fungsi apply() hanya menerapkan fungsi doubler sepanjang sumbu DataFrame. Itu berarti Anda menargetkan indeks atau kolom. Atau, dengan kata lain, baris atau kolom.

Namun, jika Anda ingin menerapkannya ke setiap elemen atau secara element-wise, Anda dapat menggunakan fungsi map(). Anda bisa mengganti fungsi apply() pada potongan kode di atas dengan map(). Jangan lupa tetap meneruskan fungsi doubler agar nilainya dikalikan 2.

Misalkan Anda ingin menerapkan fungsi pengganda ini tidak hanya ke kolom A dari DataFrame, tetapi ke seluruhnya. Dalam kasus ini, Anda dapat menggunakan applymap() untuk menerapkan fungsi doubler ke setiap elemen di seluruh DataFrame:

doubled_df = df.applymap(doubler)
print(doubled_df)

   A   B   C

0   2   4   6

1   8  10  12

2  14  16  18

Perhatikan bahwa pada kasus-kasus ini, kita bekerja dengan fungsi lambda atau fungsi anonim yang dibuat saat runtime. Namun, Anda juga dapat menulis fungsi sendiri. Misalnya:

def doubler(x):
    if x % 2 == 0:
        return x
    else:
        return x * 2

# Use `applymap()` to apply `doubler()` to your DataFrame
doubled_df = df.applymap(doubler)

# Check the DataFrame
print(doubled_df)

   A   B   C

0   2   2   6

1   4  10   6

2  14   8  18

Jika Anda menginginkan informasi lebih lanjut tentang alur kendali (flow of control) di Python, Anda selalu dapat melihat sumber kami yang lain.

Melakukan Pivot pada DataFrame

Anda dapat menggunakan fungsi pivot() untuk membuat tabel turunan baru dari tabel asli. Saat menggunakan fungsi ini, Anda dapat meneruskan tiga argumen:

1. values: argumen ini memungkinkan Anda menentukan nilai dari DataFrame asli yang ingin Anda lihat pada tabel pivot.
2. columns: apa pun yang Anda berikan ke argumen ini akan menjadi kolom di tabel hasil.
3. index: apa pun yang Anda berikan ke argumen ini akan menjadi indeks di tabel hasil.

# Import pandas
import pandas as pd

# Create your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
        'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
        'testscore': [4, 3, 5, 7, 5, 8]})

# Use `pivot()` to pivot the DataFrame
pivot_products = products.pivot(index='category', columns='store', values='price')

# Check out the result
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           55.75    NaN   111.55

Saat Anda tidak secara khusus mengisi nilai apa yang diharapkan ada pada tabel hasil, Anda akan melakukan pivot berdasarkan beberapa kolom:

# Import the Pandas library
import pandas as pd
​
# Construct the DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                       'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                       'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                       'testscore': [4, 3, 5, 7, 5, 8]})
​
# Use `pivot()` to pivot your DataFrame
pivot_products = products.pivot(index='category', columns='store')
​
# Check out the results
print(pivot_products)

             price                testscore             

store            Dia   Fnac Walmart       Dia Fnac Walmart

category                                                  

Cleaning       23.50    NaN   11.42       3.0  NaN     4.0

Entertainment    NaN  15.95   19.99       NaN  7.0     5.0

Tech           55.75    NaN  111.55       5.0  NaN     8.0

Perhatikan bahwa data Anda tidak boleh memiliki baris dengan nilai duplikat untuk kolom yang Anda tentukan. Jika tidak demikian, Anda akan mendapatkan pesan kesalahan. Jika Anda tidak bisa memastikan keunikan data, Anda sebaiknya menggunakan metode pivot_table sebagai gantinya:

# Import the Pandas library
import pandas as pd

# Your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                        'price':[11.42, 23.50, 19.99, 15.95, 19.99, 111.55],
                        'testscore': [4, 3, 5, 7, 5, 8]})

# Pivot your `products` DataFrame with `pivot_table()`
pivot_products = products.pivot_table(index='category', columns='store', values='price', aggfunc='mean')

# Check out the results
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           19.99    NaN   111.55

Perhatikan argumen tambahan aggfunc yang diteruskan ke metode pivot_table. Argumen ini menunjukkan bahwa Anda menggunakan fungsi agregasi untuk menggabungkan beberapa nilai. Pada contoh ini, Anda dapat dengan jelas melihat bahwa fungsi mean digunakan.

Menggunakan stack() dan unstack() untuk Mengubah Bentuk Pandas DataFrame

Anda sudah melihat contoh stacking pada bagian 5. Intinya, Anda mungkin masih ingat bahwa ketika Anda melakukan stack DataFrame, Anda membuatnya lebih tinggi. Anda memindahkan indeks kolom terdalam untuk menjadi indeks baris terdalam. Anda mengembalikan DataFrame dengan indeks yang memiliki level label baris terdalam yang baru.

Kebalikan dari stacking disebut unstacking. Mirip dengan stack(), Anda menggunakan unstack() untuk memindahkan indeks baris terdalam agar menjadi indeks kolom terdalam.

Untuk penjelasan tentang pivoting, stacking, dan unstacking di pandas, lihat kursus Reshaping Data with pandas.

Mengubah Bentuk DataFrame dengan melt()

Melting dianggap berguna dalam kasus di mana Anda memiliki data dengan satu atau lebih kolom sebagai variabel pengenal (identifier variables), sementara semua kolom lainnya dianggap sebagai variabel terukur (measured variables).

Variabel terukur ini semua “di-unpivot” ke sumbu baris. Artinya, sementara variabel terukur yang tersebar pada lebar DataFrame, melt akan memastikan variabel tersebut ditempatkan pada tingginya. Atau, dengan kata lain lagi, DataFrame Anda kini akan menjadi lebih panjang alih-alih lebih lebar.

Hasilnya, Anda memiliki dua kolom non-identifier, yaitu ‘variable’ dan ‘value’.

Mari ilustrasikan dengan contoh:

# The `people` DataFrame
people = pd.DataFrame({'FirstName' : ['John', 'Jane'],
                       'LastName' : ['Doe', 'Austen'],
                       'BloodType' : ['A-', 'B+'],
                       'Weight' : [90, 64]})

# Use `melt()` on the `people` DataFrame
print(pd.melt(people, id_vars=['FirstName', 'LastName'], var_name='measurements'))

 FirstName LastName measurements value

0      John      Doe    BloodType    A-

1      Jane   Austen    BloodType    B+

2      John      Doe       Weight    90

3      Jane   Austen       Weight    64

Jika Anda mencari lebih banyak cara untuk mengubah bentuk data, lihat dokumentasi.

Mengekspor DataFrame ke CSV

Untuk menulis DataFrame sebagai file CSV, Anda dapat menggunakan to_csv():

import pandas as pd
df.to_csv('myDataFrame.csv')

Potongan kode itu tampak sederhana, tetapi di sinilah kesulitan mulai bagi banyak orang karena Anda akan memiliki persyaratan khusus untuk keluaran data. Mungkin Anda tidak ingin koma sebagai pembatas, atau Anda ingin menentukan encoding tertentu.

Jangan khawatir! Anda dapat meneruskan beberapa argumen tambahan ke to_csv() untuk memastikan data Anda diekspor sesuai keinginan!

• Untuk membatasi dengan tab, gunakan argumen sep:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t')

• Untuk menggunakan pengkodean karakter tertentu, Anda dapat menggunakan argumen encoding:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t', encoding='utf-8')

• Selain itu, Anda dapat menentukan bagaimana Anda ingin NaN atau nilai yang hilang direpresentasikan, apakah ingin mengekspor header atau tidak, apakah ingin menulis nama baris atau tidak, apakah ingin kompresi, Anda dapat membaca opsi-opsinya.

Menulis DataFrame ke Excel

Serupa dengan apa yang Anda lakukan untuk mengekspor DataFrame ke CSV, Anda dapat menggunakan to_excel() untuk menulis tabel ke Excel. Namun, ini sedikit lebih rumit:

import pandas as pd
writer = pd.ExcelWriter('myDataFrame.xlsx')
df.to_excel(writer, 'DataFrame')
writer.save()

Perhatikan, bagaimanapun, bahwa seperti to_csv(), Anda memiliki banyak argumen tambahan seperti startcol, startrow, dan sebagainya, untuk memastikan Anda mengekspor data dengan benar. Anda dapat mempelajari lebih lanjut cara mengimpor data dari dan mengekspor data ke file CSV menggunakan pandas dalam tutorial kami.

Namun, jika Anda menginginkan informasi lebih lanjut tentang alat IO di Pandas, lihat dokumentasi DataFrame ke excel pandas.