Python新手练手项目：文件归档与数据清洗实战

Python新手练手项目：文件归档与数据清洗实战

对于Python初学者而言，选对练手项目比追求高难度技术更重要。好的项目应当具备完整可运行、反复稳定执行、可持续改进三大特征。许多新手一上来就挑战聊天软件或分布式爬虫，最终卡在环境配置阶段，无法形成技术闭环。本文精选”自动化文件归档”与”结构化消费记录解析”两个高价值练手项目，从环境要求、可执行代码到工程化验收标准，提供一套严谨的实践指南，帮助读者快速掌握Python自动化脚本怎么写、怎么写好。

项目一：自动化文件归档系统

环境要求：需要Python 3.6及以上版本（依赖pathlib标准库），并确保目标目录拥有读写权限。操作前请务必在测试目录验证并备份源文件，避免不可逆数据丢失。

在日常办公中，文件分类整理是高频且繁琐的任务。构建一个自动化文件归档系统，是建立”输入—判断—处理—输出”程序思维的最佳切入点。

1.1 如何定义分类规则

该系统需要实现指定目录下文件的自动扫描，并根据扩展名将不同类型的文件移动至对应归档目录。基础分类规则如下：

• 表格类：.xlsx、.csv 等结构化数据文件
• 文档类：.docx、.pdf 等文本与版式文件
• 图片类：.jpg、.png 等图像格式文件
• 视频类：.mp4、.mov 等多媒体文件
• 其他类：未命中上述规则的文件统一归档

建议将规则通过JSON配置文件外部加载，避免硬编码。示例rules.json：

{
  "表格类": [".xlsx", ".csv"],
  "文档类": [".docx", ".pdf"],
  "图片类": [".jpg", ".png"],
  "视频类": [".mp4", ".mov"]
}

1.2 完整可执行代码示例

import os
import json
import shutil
from pathlib import Path
CONFIG_FILE = "rules.json"
SOURCE_DIR = Path("./待整理文件")
def load_rules(config_path):
    with open(config_path, "r", encoding="utf-8") as f:
        return json.load(f)
def get_category(ext, rules):
    for cat, exts in rules.items():
        if ext.lower() in exts:
            return cat
    return "其他类"
def archive_files():
    rules = load_rules(CONFIG_FILE)
    stats = {"success": 0, "failed": 0, "errors": []}
    for file_path in SOURCE_DIR.iterdir():
        if not file_path.is_file():
            continue
        category = get_category(file_path.suffix, rules)
        target_dir = SOURCE_DIR / category
        try:
            target_dir.mkdir(parents=True, exist_ok=True)
            dest = target_dir / file_path.name
            if dest.exists():
                base = file_path.stem
                dest = target_dir / f"{base}_copy{file_path.suffix}"
            shutil.move(str(file_path), str(dest))
            stats["success"] += 1
        except (PermissionError, OSError) as e:
            stats["failed"] += 1
            stats["errors"].append(f"{file_path.name}: {e}")
    print(f"成功: {stats['success']}, 失败: {stats['failed']}")
    for err in stats["errors"]:
        print(f"  [失败] {err}")
if __name__ == "__main__":
    archive_files()

1.3 工程化验收标准

一个合格的项目不能仅停留在Demo阶段，必须满足以下标准：

• 幂等性保障：重复执行不因目录已存在而报错
• 冲突保护：同名文件自动重命名，防止数据覆盖
• 目录自愈：分类文件夹不存在时自动递归创建
• 状态追踪：记录成功与失败数量，留存异常原因
• 规则解耦：分类规则通过外部JSON动态加载

⚠️ 安全提示：文件移动为不可逆操作，务必先在测试目录验证，做好源文件备份。MD5哈希去重涉及读取文件内容，大文件场景下需注意IO性能风险。

1.4 架构升级方向

完成基础版本后，可逐步引入：按”年-月”层级二级归档、自动清理空文件夹、基于MD5的重复文件检索、集成日志模块与定时调度实现无人值守运行。推荐使用shutil.move替代os.rename处理跨分区文件移动，避免报错。

项目二：结构化消费记录解析器

数据清洗是Python应用最广泛的领域之一。从简单消费记录入手，能清晰理解非结构化到结构化数据的转化过程。

2.1 怎样准备输入数据

假设存在一份以CSV或纯文本格式存储的消费记录，格式较为松散：

7月1日,餐饮,35,午餐
7月1日,交通,12,地铁
7月2日,购物,150,防晒霜

读取时需注意编码问题，建议使用encoding="utf-8-sig"参数避免BOM头导致解析错误。

2.2 核心处理逻辑

处理流程包含数据读取、字段拆分、类型转换与聚合计算。以下为完整示例代码：

import csv
import re
from collections import defaultdict
def parse_records(file_path):
    records = []
    with open(file_path, "r", encoding="utf-8-sig") as f:
        reader = csv.reader(f)
        for row in reader:
            if len(row) < 3:
                continue
            try:
                date, category, amount, *note = row
                amount = float(amount)
                records.append({
                    "date": date,
                    "category": category.strip(),
                    "amount": amount,
                    "note": " ".join(note).strip()
                })
            except ValueError:
                continue
    return records
def summarize(records):
    by_category = defaultdict(float)
    by_date = defaultdict(float)
    for r in records:
        by_category[r["category"]] += r["amount"]
        by_date[r["date"]] += r["amount"]
    print("=== 分类汇总 ===")
    for cat, total in sorted(by_category.items()):
        print(f"  {cat}: {total:.2f} 元")
    print("\n=== 每日平均 ===")
    if by_date:
        avg = sum(by_date.values()) / len(by_date)
        print(f"  日均支出: {avg:.2f} 元")
if __name__ == "__main__":
    data = parse_records("消费记录.csv")
    summarize(data)

2.3 解析技术要点与正则示例

• 数据解析：若输入为纯文本（非CSV），可使用正则提取：r"(\d+月\d+日)\s*,\s*(\S+)\s*,\s*(\d+\.?\d*)\s*,?\s*(.*)"
• 类型转换：将金额字符串转为浮点数，需处理空值与非法字符
• 数据聚合：利用defaultdict实现按类别与日期分组累加
• 输出示例：格式化报表确保数据对齐，如上代码所示

2.4 验收指标

• 正确解析所有合法行，跳过格式错误行并记录数量
• 分类汇总与日均计算结果精确到小数点后两位
• 空文件或全非法行时给出友好提示而非崩溃

总结：从功能实现到工程思维的跨越

两个项目看似简单，核心目的在于训练工程思维。这些基础逻辑与云存储生命周期管理思路有相似之处，但实际落地需额外学习云服务API，不可直接等同。

通过严格遵循验收标准、注意操作安全、不断探索升级方向，初学者能够逐步掌握异常处理、配置解耦、模块化设计等开发范式，为未来应对企业级应用开发奠定坚实的代码架构基础。Python新手练手项目推荐从这两个场景起步，先跑通、再优化、最后扩展。