Python爬虫入门：从网页解析到数据存储

一、原生爬虫：动手之前先想清楚

很多人学爬虫的第一反应是找现成代码，但真正决定项目成败的是前期的分析工作。一个规范的原生爬虫开发流程，可以拆解为以下几个环节。

1. 明确目的。 爬虫的本质是模拟浏览器向服务器发起请求、接收响应并从中提取数据。写代码之前，先用一句话描述你的目标，例如“获取某直播列表页中每位主播的姓名和观看人数”。目标越具体，后续每一步的取舍就越容易判断。

2. 分析网页结构。 打开目标页面后，通过浏览器自带的“查看源代码/开发者工具”观察目标数据的组织方式。重点确认两件事：数据是直接写在HTML源码中，还是由页面脚本在运行时从数据接口动态获取。前者用正则即可稳定提取，后者则需要先定位并分析其数据接口，再针对接口响应做解析。

3. 确定爬取页面与数据字段。 圈定入口页与翻页规律（例如URL中页码参数如何变化），并明确只需要哪些字段。克制地设定抓取范围，既能降低开发与调试成本，也能减少对目标站点的请求压力。

4. 网页数据抓取与开发流程。 至此可以总结出一条主线：需求分析 → 结构分析 → 发起请求 → 解析响应 → 调试验证 → 数据精炼 → 排序与存储。建议每完成一个环节就验证一次，不要把所有代码写完才第一次运行。另外，务必遵守目标站点的爬取约定，控制请求频率，不抓取涉及个人隐私与版权保护的敏感数据——合规是爬虫开发的前提。

二、用正则表达式解析HTML

在不引入任何第三方库的情况下，Python标准库中的re模块配合正则表达式，足以完成绝大多数结构清晰的静态页面解析任务。它的核心思想是：先定位锚点，再提取内容。

1. HTML标签定位。 HTML标签天然成对出现，例如每个列表项都包裹在<li>与</li>之间。只要目标数据的包裹标签在页面中具有足够的区分度，就可以用这些标签作为定位锚点。

2. 内容匹配方法。 假设页面中有如下片段：

<li><a href="/room/1001"> 主持人A </a>
    <span class="view">1234人观看</span></li>

要批量取出每个li的内部内容，可以先用findall完成第一层切割：

import re
items = re.findall(r'<li>(.*?)</li>', html, flags=re.S)

其中re.S（让点号匹配换行）非常关键——真实页面的标签之间往往充满换行和缩进，不开启该标志会导致匹配失败。

3. 代码实现要点。 一是优先用findall做批量提取、用search做单点确认；二是注意匹配结果是列表，取值前要判空；三是把复杂的整体匹配拆成“先取块、再取字段”的二级结构，不要试图用一条超长正则一步到位。

4. 概括字符集。 编写正则时善用概括字符集：\d匹配数字，\w匹配字母、数字与下划线，\s匹配空白字符，\D、\W、\S是它们的反向版本，点号.匹配除换行外的任意字符。用概括字符集代替手写枚举，可以让表达式更短、更不容易出错。

三、贪婪与非贪婪：一个字符引发的天壤之别

1. 匹配模式区别。 量词默认是贪婪的，会尽可能多地匹配字符。用<li>(.*)</li>匹配多个列表项时，点号会一路“吃”到文档中最后一个</li>，导致整段HTML被一次性吞掉，提取结果完全错误；改成非贪婪写法(.*?)后，匹配会在遇到最近的一个</li>时停下，每次恰好取到一个列表项。

2. 实践验证方法。 建议在交互式环境中用最短的可复现样例验证：先用只含两个li的小字符串对比(.*)与(.*?)的输出差异，直观感受两种模式的边界行为，再套用到真实页面。

3. 正则表达式实现。 经验法则：当被匹配内容前后有明确的结束标志（闭合标签、引号、括号等）时，优先使用非贪婪量词，如.*?、\d+?。

四、调试：爬虫开发中最花时间的环节

1. 错误分析与调试。 初学者遇到的问题可归为三类：请求层面——URL拼写错误、缺少必要的请求头、目标站点返回异常状态；解析层面——正则返回空列表或None，往往是表达式与真实源码不吻合；数据层面——索引越界、类型不匹配。先归类，再定位，效率远高于盲目改代码。

2. 变量查看与监视。 最直接的手段是打印中间变量：输出响应文本的前几百个字符，确认“是否真的拿到了HTML”；输出正则匹配结果的数量与首条内容，确认“是否匹配成功”。配合IDE的断点与单步调试，可以逐行观察循环中变量的变化，监视窗口对长字符串尤其直观。

3. 调试过程中的问题解决。 推荐分段验证法：第一段验证请求是否成功，第二段验证正则能否取到值，第三段验证清洗与转换是否正确。每段通过再进入下一段，避免“全写完一起跑”式的混乱排查。

4. 调试结果展示与正则技巧。 调试正则遵循“由小到大”：先在极小的样例上跑通，再逐步加入真实页面的复杂度；先锚定区分度强的特征串，再放宽通配范围。输出结果时做抽样比对：把提取到的若干条数据与浏览器中肉眼所见对照，确认无遗漏、无错位。

五、实战演练：匹配主播姓名与观看人数

1. 二级匹配原理。 直接用一条正则同时提取姓名和人数，表达式冗长且脆弱。更稳健的做法是分两级：第一级把整个列表区域按li切成小块，第二级在每小块内分别提取两个字段。两级结构让正则保持简短，也让调试粒度更细。

import re
items = re.findall(r'<li>(.*?)</li>', html, re.S)
result = []
for item in items:
    name = re.search(r'<a[^>]*>(.*?)</a>', item, re.S).group(1)
    num  = re.search(r'>(\d+)人观看<', item).group(1)
    result.append([name, num])

2. 精炼数据环节介绍。 此时拿到的name通常带有源码换行与缩进产生的首尾空白，num则是纯数字字符串。要让这份数据可被后续分析使用，还需要精炼。

六、数据精炼：从“能取到”到“能用”

1. 去除前后空格和换行符。 字符串的内置方法strip()默认会同时去掉首尾的空格、换行符与制表符，正是清洗这类残留的最佳工具；lstrip、rstrip分别只处理一侧。

2. 将列表转化为单一字符串。 若某个字段被拆成了多段（例如名字中夹着内嵌标签），可先用''.join(片段列表)拼接为完整字符串再做清洗，避免对列表误用字符串方法。

3. 使用lambda表达式处理数据。 对整批数据做同样的清洗，用map配合lambda非常简洁：

names = list(map(lambda x: x.strip(), names))

lambda的价值在于把“一次性的小逻辑”内联到调用处，省去专门定义函数的过程；但复杂逻辑仍建议拆成具名函数，保持可读性。

4. 数据精炼与HTML数据提取的区别。 提取解决的是“从混乱的原始文本中定位并截取目标片段”，输入是不可控的页面源码；精炼解决的是“把已提取的数据规范化”，输入是结构已知的字符串。前者依赖对页面结构的分析，后者依赖对数据形态的了解，二者关注点不同，不可混为一谈。

七、数据排序：让爬取结果产生分析价值

1. 排序函数参数。 列表的sort()方法原地排序，内置sorted()函数返回新列表，二者都支持两个关键参数：key决定“按什么排”，reverse决定方向。对[姓名, 人数]形式的二维列表排序时，务必显式指定key。

2. key函数的作用与编写。 key接收一个函数，对每个元素求值，以返回值作为比较依据。按观看人数降序排：

data = sorted(result, key=lambda x: int(x[1]), reverse=True)

3. 排序业务处理与错误分析。 最经典的坑：人数仍以字符串形式存储时直接排序，”9”会排在”100”之后，因为字符串按字典序逐位比较。排查思路是打印key函数的返回类型；解决方式是在key中完成int转换（必要时先剥离“人观看”之类的单位后缀）。这类“类型未转换”问题在排序错误中占比极高。

4. 排序方向与数字格式。 reverse=True得到降序结果；输出时用f-string指定字段宽度做格式化排版，让结果整齐可读；若数值还要参与后续计算，应保存转换后的数字而非格式化后的字符串。

八、快速找到函数的方法与数据存储方案

1. 快速找到函数的方法。 与其死记API，不如建立“需求→能力→函数”的检索习惯：先在交互式环境中用dir()查看对象可用的方法、用help()阅读说明；再去官方文档按主题目录浏览；最后才带着关键词去搜索。描述问题时多用“我想对字符串做什么”这类能力型表述，命中率远高于直接猜函数名。

2. 数据存储方案。 按数据规模与用途选择：

• 小规模、供人工查看：写入纯文本，或用标准库csv模块存为表格；
• 结构化、供程序读取：用标准库json模块保存为JSON文件；
• 需要查询、去重与聚合分析：写入数据库；
• 数据量持续增长、需要多端访问时，可将结果进一步沉淀到云端，例如借助百度智能云的对象存储与云数据库等通用产品能力实现持久化与后续分析。

爬虫只是数据链路的起点，规划好“采下来之后放哪里”，项目才算闭环。

九、结语

原生爬虫的价值不在于“不用框架”，而在于让你完整经历分析页面、构造请求、正则解析、调试修正、清洗排序、落地存储的全流程。把这条链路亲手走通一次，再接触更高级的解析方案与工程化框架时，你会清楚地知道每一步“为什么这么做”。从今天起，挑一个结构简单的静态页面，动手完成属于你的第一个爬虫吧。