数据分析库pandas入门 5——数据清洗（删除数据、数据去重、缺失值处理）

在数据分析过程中，数据清洗是一个非常重要的步骤。数据清洗的目的是提高数据质量，为后续的数据分析提供准确和可靠的数据源。在Python中，我们可以使用pandas库进行数据清洗。以下是一些常见的数据清洗操作：

1. 删除重复数据
   在pandas中，可以使用drop_duplicates()函数删除重复行。默认情况下，该函数将保留第一次出现的行，并删除后续的重复行。

   import pandas as pd
   # 创建示例数据
   data = {'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'David'],
   'age': [25, 30, 35, 25, 40]}
   df = pd.DataFrame(data)
   # 删除重复行
   df_clean = df.drop_duplicates()

2. 数据去重
   除了删除重复行外，还可以使用duplicated()函数标记重复行，以便进一步处理。该函数将返回一个布尔序列，指示哪些行是重复的。

   # 标记重复行
   df_dup = df.duplicated()

3. 缺失值处理
   在pandas中，可以使用fillna()函数填充缺失值。默认情况下，该函数使用NaN（Not a Number）填充缺失值。您也可以传递一个值来替换缺失值，例如0或平均值。此外，还可以使用dropna()函数删除包含缺失值的行。

   # 填充缺失值
   df_filled = df.fillna(0)

   在实际应用中，我们可以结合这些函数来执行更复杂的数据清洗任务。例如，我们可以先使用duplicated()函数标记重复行，然后使用drop_duplicates()函数删除这些行。类似地，我们可以使用fillna()函数填充缺失值，并使用dropna()函数删除包含缺失值的行。这些操作可以帮助我们获得更准确和可靠的数据集，为后续的数据分析提供更好的基础。