Hướng dẫn Pandas: DataFrame trong Python

• Bạn cũng biết rằng .iloc[] sẽ tìm theo vị trí trong chỉ mục. Khi bạn truyền 2, bạn sẽ nhận lại:

48    7
49    8
50    9

• Vì chỉ mục không chỉ chứa số nguyên, .ix[] sẽ có hành vi như iloc và tìm theo vị trí trong chỉ mục. Bạn sẽ nhận lại cùng kết quả như .iloc[].

Giờ sự khác biệt giữa .iloc[], .loc[] và .ix[] đã rõ, bạn sẵn sàng thử thêm hàng vào DataFrame!

Mẹo: hệ quả của những gì bạn vừa đọc là khuyến nghị chung là dùng .loc để chèn hàng vào DataFrame. Bởi nếu dùng df.ix[], bạn có thể vô tình tham chiếu một chỉ mục dạng số bằng giá trị chỉ mục và ghi đè lên một hàng hiện có trong DataFrame. Hãy tránh điều đó!

Hãy xem lại sự khác biệt trong DataFrame dưới đây:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), index= [2.5, 12.6, 4.8], columns=[48, 49, 50])

# This will make an index labeled `2` and add the new values
df.loc[2] = [11, 12, 13]
print(df)

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

2.0   11  12  13

Bạn thấy vì sao tất cả điều này có thể gây nhầm lẫn rồi chứ?

Thêm một cột vào DataFrame

Trong một số trường hợp, bạn muốn đưa chỉ mục thành một phần của DataFrame. Bạn có thể làm điều này dễ dàng bằng cách lấy một cột từ DataFrame hoặc tham chiếu đến một cột bạn chưa tạo rồi gán nó cho thuộc tính .index, như sau:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])
​
# Use `.index`
df['D'] = df.index
​
# Print `df`
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

Nói cách khác, bạn nói với DataFrame rằng nó nên lấy cột A làm chỉ mục của mình.

Tuy nhiên, nếu bạn muốn thêm cột vào DataFrame, bạn cũng có thể làm theo cách giống như khi thêm chỉ mục: dùng .loc[] hoặc .iloc[]. Ở đây, bạn thêm một Series vào DataFrame hiện có với sự trợ giúp của .loc[]:

# Study the DataFrame `df`
print(df)

# Append a column to `df`
df.loc[:, 4] = pd.Series(['5', '6', '7'], index=df.index)

# Print out `df` again to see the changes
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Hãy nhớ đối tượng Series rất giống một cột của DataFrame. Điều đó lý giải vì sao bạn có thể dễ dàng thêm Series vào DataFrame. Cũng lưu ý rằng nhận xét trước đó về .loc[] vẫn đúng, ngay cả khi bạn đang thêm cột vào DataFrame!

Đặt lại chỉ mục của DataFrame

Khi chỉ mục không như ý, bạn có thể chọn đặt lại. Bạn có thể làm điều này dễ dàng với .reset_index(). Tuy nhiên, bạn vẫn nên chú ý, vì có thể truyền một số tham số có thể quyết định thành công hay thất bại của việc đặt lại:

# Check out the weird index of your dataframe
print(df)

# Use `reset_index()` to reset the values. 
df_reset = df.reset_index(level=0, drop=True)

# Print `df_reset`
print(df_reset)

  A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Bạn có thể thử thay tham số drop bằng inplace trong ví dụ trên và xem điều gì xảy ra!

Lưu ý cách bạn dùng tham số drop để chỉ ra rằng bạn muốn loại bỏ chỉ mục hiện có. Nếu bạn dùng inplace, chỉ mục gốc dạng số thực sẽ được thêm làm một cột phụ vào DataFrame.

Xóa chỉ mục khỏi DataFrame

Nếu bạn muốn loại bỏ chỉ mục khỏi DataFrame, bạn nên cân nhắc lại vì DataFrame và Series luôn có chỉ mục.

Tuy nhiên, những gì bạn có thể làm là, ví dụ:

• đặt lại chỉ mục của DataFrame (quay lại phần trước để xem cách làm) hoặc
• xóa tên chỉ mục, nếu có, bằng cách chạy del df.index.name,
• xóa giá trị chỉ mục trùng lặp bằng cách đặt lại chỉ mục, loại bỏ trùng lặp của cột chỉ mục đã được thêm vào DataFrame và đặt lại cột đã loại trùng đó làm chỉ mục
• và cuối cùng, xóa một chỉ mục, đồng thời xóa một hàng. Điều này sẽ được trình bày chi tiết hơn ở phần sau của hướng dẫn.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])
                  
df.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Giờ bạn đã biết cách loại bỏ một chỉ mục khỏi DataFrame, bạn có thể tiếp tục xóa cột và hàng!

Xóa một cột khỏi DataFrame

Để loại bỏ (một lựa chọn) các cột khỏi DataFrame, bạn có thể dùng phương thức drop():

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Check out the DataFrame `df`
print(df)

# Drop the column with label 'A'                  
df.drop('A', axis=1, inplace=True)

# Drop the column at position 1
df.drop(df.columns[[1]], axis=1)

  A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

Bạn có thể nghĩ: điều này không quá đơn giản; Có một số tham số bổ sung được truyền vào phương thức drop()!

• Tham số axis là 0 khi chỉ hàng và 1 khi dùng để xóa cột.
• Bạn có thể đặt inplace là True để xóa cột mà không cần gán lại DataFrame.

Xóa một hàng khỏi DataFrame

Bạn có thể loại bỏ các hàng trùng lặp khỏi DataFrame bằng cách chạy df.drop_duplicates(). Bạn cũng có thể xóa hàng, chỉ xét các giá trị trùng lặp tồn tại trong một cột.

Xem ví dụ sau:

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])

# Check out your DataFrame `df`
print(df)

# Drop the duplicates in `df`
df.drop_duplicates([48], keep='last')

      48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Nếu không có tiêu chí duy nhất cho việc xóa bạn muốn thực hiện, bạn có thể dùng phương thức drop(), trong đó dùng thuộc tính index để chỉ định chỉ mục của các hàng bạn muốn xóa khỏi DataFrame:

# Check out the DataFrame `df`
print(df)

# Drop the index at position 1
df.drop(df.index[1])

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Sau lệnh này, bạn có thể sẽ muốn đặt lại chỉ mục.

Mẹo: hãy tự thử đặt lại chỉ mục của DataFrame kết quả! Đừng quên dùng tham số drop nếu bạn thấy cần thiết.

Thay thế tất cả lần xuất hiện của một chuỗi trong DataFrame

Để thay thế các chuỗi nhất định trong DataFrame, bạn có thể dùng replace(): truyền vào các giá trị bạn muốn thay, tiếp theo là các giá trị bạn muốn thay thế bằng.

Như sau:

df = pd.DataFrame({"Student1":['OK','Awful','Acceptable'], 
                   "Student2":['Perfect','Awful','OK'], 
                   "Student3":['Acceptable','Perfect','Poor']})

# Study the DataFrame `df` first
print(df)

# Replace the strings by numerical values (0-4)
df.replace(['Awful', 'Poor', 'OK', 'Acceptable', 'Perfect'], [0, 1, 2, 3, 4]) 

     Student1 Student2    Student3

0          OK  Perfect  Acceptable

1       Awful    Awful     Perfect

2  Acceptable       OK        Poor

Lưu ý rằng còn có tham số regex có thể giúp bạn rất nhiều khi gặp các tổ hợp chuỗi lạ:

df =  pd.DataFrame([["1\n", 2, "3\n"], [4, 5, "6\n"] ,[7, "8\n", 9]])

# Check out your DataFrame `df`
print(df)

# Replace strings by others with `regex`
df.replace({'\n': ''}, regex=True)

    0    1    2

0  1\n    2  3\n

1    4    5  6\n

2    7  8\n    9

Tóm lại, replace() là thứ bạn cần khi muốn thay thế các giá trị hoặc chuỗi trong DataFrame bằng giá trị khác!

Loại bỏ phần không mong muốn khỏi chuỗi trong các ô của DataFrame

Loại bỏ các phần không mong muốn của chuỗi là công việc tẻ nhạt. May mắn thay, có giải pháp dễ dàng!

df =  pd.DataFrame([["+-1aAbBcC", "2", "+-3aAbBcC"], ["4", "5", "+-6aAbBcC"] ,["7", "+-8aAbBcC", "9"]])

# Check out your DataFrame
print(df)

# Delete unwanted parts from the strings in the first column
df[0] = df[0].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))

# Check out the result again
df

          0          1          2

0  +-1aAbBcC          2  +-3aAbBcC

1          4          5  +-6aAbBcC

2          7  +-8aAbBcC          9

Bạn dùng map() trên cột result để áp dụng hàm lambda cho từng phần tử của cột. Bản thân hàm lấy giá trị chuỗi và loại bỏ ký tự + hoặc - ở bên trái, đồng thời bỏ đi bất kỳ trong sáu ký tự aAbBcC ở bên phải.

Tách văn bản trong một cột thành nhiều hàng trong DataFrame

Đây là một tác vụ định dạng khó hơn đôi chút. Tuy nhiên, đoạn mã sau sẽ hướng dẫn bạn từng bước:

df = pd.DataFrame({"Age": [34, 22, 19], 
                   "PlusOne":[0,0,1], 
                   "Ticket":["23:44:55", "66:77:88", "43:68:05 56:34:12"]})

# Inspect your DataFrame `df`
print(df)

# Split out the two values in the third row
# Make it a Series
# Stack the values
ticket_series = df['Ticket'].str.split(' ').apply(pd.Series, 1).stack()

# Get rid of the stack:
# Drop the level to line up with the DataFrame
ticket_series.index = ticket_series.index.droplevel(-1)

print(ticket_series)

  Age  PlusOne             Ticket

0   34        0           23:44:55

1   22        0           66:77:88

2   19        1  43:68:05 56:34:12

0    23:44:55

1    66:77:88

2    43:68:05

2    56:34:12

dtype: object

          0

0  23:44:55

1  66:77:88

2  43:68:05

2  56:34:12

Tóm lại, những gì bạn làm là:

• Trước hết, bạn kiểm tra DataFrame. Bạn thấy các giá trị ở hàng cuối và cột cuối hơi dài. Có vẻ có hai vé vì một vị khách dẫn theo một người đi cùng.
• Bạn lấy cột Ticket từ DataFrame df và tách chuỗi theo dấu cách. Điều này đảm bảo hai vé sẽ được tách thành hai hàng riêng về sau. Tiếp theo, bạn đưa bốn giá trị này (bốn số vé) vào một đối tượng Series:

      0         1
0  23:44:55       NaN
1  66:77:88       NaN
2  43:68:05  56:34:12

• Điều đó vẫn chưa ổn. Bạn có các giá trị NaN trong đó! Bạn cần stack Series để đảm bảo không còn NaN trong Series kết quả.
• Tiếp theo, bạn thấy Series đã được stack.

0  0    23:44:55
1  0    66:77:88
2  0    43:68:05
   1    56:34:12

• Điều này cũng chưa lý tưởng. Vì vậy bạn bỏ bớt một cấp độ để căn lại với DataFrame:

0    23:44:55
1    66:77:88
2    43:68:05
2    56:34:12
dtype: object

• Đó chính là điều bạn cần.
• Chuyển Series thành DataFrame để có thể nối lại với DataFrame ban đầu. Tuy nhiên, để tránh trùng lặp trong DataFrame, bạn có thể xóa cột Ticket gốc.

Áp dụng một hàm cho các cột hoặc hàng của Pandas DataFrame

Bạn có thể muốn điều chỉnh dữ liệu trong DataFrame bằng cách áp dụng một hàm cho nó. Hãy bắt đầu bằng cách tạo hàm lambda của riêng bạn:

doubler = lambda x: x*2

Mẹo: nếu bạn muốn biết thêm về hàm trong Python, hãy xem hướng dẫn về hàm Python này.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Study the `df` DataFrame
print(df)

# Apply the `doubler` function to the `A` DataFrame column
df['A'].apply(doubler)
 A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

0     2

1     8

2    14

Name: A, dtype: int64

Lưu ý rằng bạn cũng có thể chọn một hàng của DataFrame và áp dụng hàm lambda doubler cho nó. Hãy nhớ bạn có thể dễ dàng chọn một hàng từ DataFrame bằng .loc[] hoặc .iloc[].

Sau đó, bạn sẽ chạy một lệnh như sau, tùy vào việc bạn muốn chọn chỉ mục theo vị trí hay theo nhãn:

df.loc[0].apply(doubler)

Lưu ý rằng hàm apply() chỉ áp dụng hàm doubler dọc theo một trục của DataFrame. Nghĩa là bạn hướng đến hoặc chỉ mục hoặc các cột. Hoặc nói cách khác, một hàng hoặc một cột.

Tuy nhiên, nếu bạn muốn áp dụng theo từng phần tử (element-wise), bạn có thể dùng hàm map(). Bạn chỉ cần thay apply() trong đoạn mã trên bằng map(). Đừng quên vẫn truyền hàm doubler để nhân các giá trị với 2.

Giả sử bạn muốn áp dụng hàm nhân đôi này không chỉ cho cột A mà cho toàn bộ DataFrame. Trong trường hợp này, bạn có thể dùng applymap() để áp dụng hàm doubler cho từng phần tử trong toàn bộ DataFrame:

doubled_df = df.applymap(doubler)
print(doubled_df)

   A   B   C

0   2   4   6

1   8  10  12

2  14  16  18

Lưu ý rằng trong các trường hợp này, chúng ta làm việc với các hàm lambda hoặc hàm ẩn danh được tạo tại thời điểm chạy. Tuy nhiên, bạn cũng có thể tự viết hàm của mình. Ví dụ:

def doubler(x):
    if x % 2 == 0:
        return x
    else:
        return x * 2

# Use `applymap()` to apply `doubler()` to your DataFrame
doubled_df = df.applymap(doubler)

# Check the DataFrame
print(doubled_df)

   A   B   C

0   2   2   6

1   4  10   6

2  14   8  18

Nếu bạn muốn biết thêm về luồng điều khiển trong Python, bạn luôn có thể xem các tài nguyên khác của chúng tôi.

Pivot DataFrame của bạn

Bạn có thể dùng hàm pivot() để tạo một bảng dẫn xuất mới từ bảng gốc. Khi dùng hàm, bạn có thể truyền ba tham số:

1. values: tham số này cho phép bạn chỉ định những giá trị nào của DataFrame gốc bạn muốn thấy trong bảng pivot.
2. columns: bất cứ thứ gì bạn truyền vào tham số này sẽ trở thành một cột trong bảng kết quả.
3. index: bất cứ thứ gì bạn truyền vào tham số này sẽ trở thành chỉ mục trong bảng kết quả.

# Import pandas
import pandas as pd

# Create your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
        'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
        'testscore': [4, 3, 5, 7, 5, 8]})

# Use `pivot()` to pivot the DataFrame
pivot_products = products.pivot(index='category', columns='store', values='price')

# Check out the result
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           55.75    NaN   111.55

Khi bạn không điền rõ các giá trị mong đợi có trong bảng kết quả, bạn sẽ pivot theo nhiều cột:

# Import the Pandas library
import pandas as pd
​
# Construct the DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                       'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                       'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                       'testscore': [4, 3, 5, 7, 5, 8]})
​
# Use `pivot()` to pivot your DataFrame
pivot_products = products.pivot(index='category', columns='store')
​
# Check out the results
print(pivot_products)

             price                testscore             

store            Dia   Fnac Walmart       Dia Fnac Walmart

category                                                  

Cleaning       23.50    NaN   11.42       3.0  NaN     4.0

Entertainment    NaN  15.95   19.99       NaN  7.0     5.0

Tech           55.75    NaN  111.55       5.0  NaN     8.0

Lưu ý dữ liệu của bạn không thể có các hàng với giá trị trùng nhau cho các cột bạn chỉ định. Nếu không, bạn sẽ nhận lỗi. Nếu bạn không đảm bảo tính duy nhất của dữ liệu, bạn sẽ muốn dùng phương thức pivot_table thay thế:

# Import the Pandas library
import pandas as pd

# Your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                        'price':[11.42, 23.50, 19.99, 15.95, 19.99, 111.55],
                        'testscore': [4, 3, 5, 7, 5, 8]})

# Pivot your `products` DataFrame with `pivot_table()`
pivot_products = products.pivot_table(index='category', columns='store', values='price', aggfunc='mean')

# Check out the results
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           19.99    NaN   111.55

Lưu ý tham số bổ sung aggfunc được truyền vào phương thức pivot_table. Tham số này chỉ ra bạn dùng một hàm gộp để kết hợp nhiều giá trị. Trong ví dụ này, rõ ràng hàm mean được dùng.

Sử dụng stack() và unstack() để reshape Pandas DataFrame

Bạn đã thấy ví dụ về stacking ở phần 5. Về bản chất, bạn có thể vẫn nhớ rằng khi stack một DataFrame, bạn làm nó cao hơn. Bạn chuyển chỉ mục cột trong cùng thành chỉ mục hàng trong cùng. Bạn nhận lại một DataFrame có chỉ mục với một cấp độ nhãn hàng mới ở trong cùng.

Phép nghịch đảo của stacking gọi là unstacking. Tương tự stack(), bạn dùng unstack() để chuyển chỉ mục hàng trong cùng thành chỉ mục cột trong cùng.

Để giải thích về pivot, stacking và unstacking trong pandas, hãy xem khóa học Reshaping Data with pandas của chúng tôi.

Reshape DataFrame với melt()

Melting hữu ích trong các trường hợp dữ liệu của bạn có một hoặc nhiều cột là biến định danh (identifier), trong khi tất cả các cột khác được xem là biến đo lường (measured).

Những biến đo lường này đều được “gỡ xoay” (unpivot) xuống trục hàng. Tức là, trong khi các biến đo lường trước đó trải rộng theo chiều ngang của DataFrame, melt sẽ đảm bảo chúng được đưa vào chiều dọc. Hay nói cách khác, DataFrame của bạn sẽ dài hơn thay vì rộng hơn.

Kết quả, bạn có hai cột không phải định danh, là ‘variable’ và ‘value’.

Hãy minh họa bằng ví dụ:

# The `people` DataFrame
people = pd.DataFrame({'FirstName' : ['John', 'Jane'],
                       'LastName' : ['Doe', 'Austen'],
                       'BloodType' : ['A-', 'B+'],
                       'Weight' : [90, 64]})

# Use `melt()` on the `people` DataFrame
print(pd.melt(people, id_vars=['FirstName', 'LastName'], var_name='measurements'))

 FirstName LastName measurements value

0      John      Doe    BloodType    A-

1      Jane   Austen    BloodType    B+

2      John      Doe       Weight    90

3      Jane   Austen       Weight    64

Nếu bạn muốn tìm thêm cách reshape dữ liệu, hãy xem tài liệu.

Xuất DataFrame ra CSV

Để ghi DataFrame thành tệp CSV, bạn có thể dùng to_csv():

import pandas as pd
df.to_csv('myDataFrame.csv')

Đoạn mã này có vẻ khá đơn giản, nhưng đây chính là nơi khó khăn bắt đầu với nhiều người vì bạn sẽ có các yêu cầu cụ thể cho đầu ra dữ liệu. Có thể bạn không muốn dấu phẩy làm dấu phân tách, hoặc bạn muốn chỉ định một mã hóa cụ thể.

Đừng lo! Bạn có thể truyền thêm một số tham số cho to_csv() để đảm bảo dữ liệu được xuất theo cách bạn muốn!

• Để phân tách bằng tab, dùng tham số sep:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t')

• Để dùng mã hóa ký tự cụ thể, bạn có thể dùng tham số encoding:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t', encoding='utf-8')

• Ngoài ra, bạn có thể chỉ định cách bạn muốn biểu diễn các giá trị NaN hay thiếu, có xuất header hay không, có ghi tên hàng hay không, có nén hay không, bạn có thể đọc thêm về các tùy chọn.

Ghi DataFrame ra Excel

Tương tự như xuất DataFrame ra CSV, bạn có thể dùng to_excel() để ghi bảng của bạn ra Excel. Tuy nhiên, hơi phức tạp hơn:

import pandas as pd
writer = pd.ExcelWriter('myDataFrame.xlsx')
df.to_excel(writer, 'DataFrame')
writer.save()

Lưu ý rằng, cũng như với to_csv(), bạn có rất nhiều tham số bổ sung như startcol, startrow, v.v., để đảm bảo xuất dữ liệu đúng cách. Bạn có thể tìm hiểu thêm về cách nhập dữ liệu từ và xuất dữ liệu ra tệp CSV bằng pandas trong hướng dẫn của chúng tôi.

Nếu bạn muốn biết thêm về các công cụ IO trong Pandas, hãy xem tài liệu DataFrames to excel của pandas.