如何使用pandas和sklearn将CSV/TSV文件按比例分成训练集和测试集

在使用机器学习模型进行预测和分类时，通常需要将数据集分成训练集和测试集。按比例划分数据集是一种常见的做法，可以确保训练集和测试集中各类别的样本比例与原始数据集相似。以下是使用pandas和sklearn将CSV/TSV文件按比例分成训练集和测试集的步骤：

1. 导入必要的库
   首先，我们需要导入pandas和sklearn库。您可以使用以下代码导入这些库：

   import pandas as pd
   from sklearn.model_selection import train_test_split

2. 读取CSV/TSV文件
   接下来，我们需要使用pandas的read_csv()或read_table()函数读取CSV/TSV文件。假设您的CSV/TSV文件名为data.csv，包含两列特征（feature1和feature2）和一列目标变量（target）。您可以使用以下代码读取该文件：

   df = pd.read_csv('data.csv')

3. 分离特征和目标变量
   在将数据集分成训练集和测试集之前，我们需要分离特征和目标变量。您可以使用以下代码完成这一步：

   X = df[['feature1', 'feature2']]
   y = df['target']

4. 按比例划分训练集和测试集
   现在，我们可以使用sklearn的train_test_split()函数按比例将数据集分成训练集和测试集。该函数接受四个参数：特征数据、目标变量、测试集比例和随机种子。例如，如果我们想将数据集的70%作为训练集，30%作为测试集，可以使用以下代码：

   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

   在这里，我们将测试集比例设置为0.3，这意味着30%的数据将被用作测试集。random_state参数用于指定随机数生成器的种子，以确保每次运行代码时都能得到相同的结果。如果您不需要可重复的结果，可以省略该参数。
5. 验证划分是否正确
   最后，我们可以使用以下代码验证划分是否正确：

   pprint(pd.DataFrame({'Training set': y_train.value_counts(), 'Test set': y_test.value_counts()}))

   这将显示训练集和测试集中各类别的样本数量。如果划分正确，训练集和测试集中各类别的样本数量应该与原始数据集中相似。如果划分不正确，可能需要检查代码并重新运行划分过程。