一、为什么值得亲手训练一次

近年来，主流大语言模型的能力一次次刷新人们的认知：无论问题多么刁钻，它们总能给出条理清晰的回答。但与“使用越来越方便”形成鲜明对比的是，“理解越来越困难”。

如今的训练生态被高度抽象的框架和工具库所主导。加载模型、加载数据集、执行训练，往往十几行代码就能跑完全流程。这种封装极大提升了工程效率，却也像一架高速飞船，把开发者稳稳送抵终点的同时，把沿途的原理，注意力如何计算、梯度如何回传、损失如何收敛，统统留在了舷窗之外。

更值得警惕的是，互联网上充斥着大量质量参差的付费课程与营销内容，用漏洞百出的术语堆砌出“速成神话”，初学者很难分辨真知识与包装出来的焦虑。

正因如此，亲手从零训练一个小模型，是拉低学习门槛最有效的方式。就像“用积木亲手拼出一架飞机，远比坐在头等舱里飞一趟更让人兴奋”，你收获的不只是一个能对话的模型，更是对整个技术体系的掌控感。需要强调：这里说的从零开始，是真正的训练，而不只是下载权重做推理。

二、训练前的三项准备

2.1 知识准备

不必先啃完整数学教材，但以下四个概念需要理解到位：

• 自回归语言建模：模型的任务是“给定前文，预测下一个词元”；
• 交叉熵损失：衡量预测分布与真实词之间的差距；
• 反向传播与梯度下降：参数如何被一步步更新；
• 注意力机制：序列内部如何建立长程关联。

每个概念花半天理解其直觉即可，不必陷入推导细节。

2.2 算力准备

一个极小语言模型（千万级参数）对硬件的要求远低于想象：

• 显存需求：几个GB即可，入门级单卡完全够用；
• 训练时长：视语料规模，通常在数小时量级；
• 成本估算：选择按时计费的云端GPU实例（例如在百度智能云按需开通GPU云服务器这类通用算力产品，用完即释放），几小时的训练开销通常能控制在几元到几十元之间。

换句话说，一顿早餐的钱，就能换来一次完整的“造轮子”体验。

2.3 环境自检

安装主流深度学习框架及依赖，建议在独立环境中操作以避免冲突。一个小技巧：先加载一份公开可得的小型模型权重做推理验证，确认环境与推理链路无误后再动手训练。这样能把“环境问题”和“代码问题”解耦，排查效率会高很多。

三、给小模型设计一副合适的骨架

3.1 架构选型

当前绝大多数主流大模型都采用Decoder-only的Transformer结构：因果自注意力加前馈网络，堆叠N层。小模型照搬这套结构即可，需要缩小的只是尺寸，这正是它的妙处，麻雀虽小，五脏俱全。

3.2 推荐配置

配置项	建议值	说明
隐藏维度	512	决定表达能力的核心维度
注意力头数	8	每头64维，经验上较稳
层数	6~8	深度与显存的平衡点
词表大小	6400~32000	小词表更快、更省显存
上下文长度	256~512	小语料场景下够用

按此配置，参数量约在数千万级，恰好落在“能力可见”与“成本可控”的交点上。

3.3 参数量估算

动手前先估算一次：参数量约等于“词表×隐藏维度（嵌入层）+ 层数×（4×d²注意力 + 8×d²前馈，中间层按4d计）”。这一步能帮你提前判断显存与时间预算是否可行，避免训练到一半才发现资源不足。

四、分词器与语料：模型的“粮食”从哪来

4.1 训练自己的分词器

不建议直接复用公开发布的超大词表——对只有几十MB的语料而言那是浪费。用BPE（字节对编码）算法在自己的语料上训练一个小词表即可，好处有三：嵌入层参数大幅减少；每个词元在语料中的出现频次更高，学得更充分；训练与推理速度更快。

4.2 预训练语料

• 来源：公开的中英文文本语料，几GB已绰绰有余；
• 清洗：去重、去除乱码与超长样本、按比例混合中英文；
• 切分：拼接为固定长度的训练片段，不足者填充或丢弃。

数据质量永远优先于数量，脏数据训出来的模型只会“学坏”。

4.3 指令微调数据

预训练教模型“说话”，微调教模型“听话”。准备几千到几万条“指令—回答”样本，并设计统一的对话模板（含系统、用户、助手三种角色的分隔标记）。模板一旦确定，训练与推理阶段必须严格一致，否则效果会明显劣化。

五、预训练：让模型学会“接话”

5.1 训练目标

极简表述：输入序列的前n-1个词元，预测第2到第n个词元，目标序列整体右移一位，全部计算围绕交叉熵展开。

5.2 训练循环（示意伪代码）

初始化模型与优化器
for epoch in range(num_epochs):
    for batch in dataloader:
        x = batch[:, :-1]      # 输入
        y = batch[:, 1:]       # 目标
        logits = model(x)
        loss = cross_entropy(logits, y)
        反向传播并更新参数
    定期保存检查点，记录loss曲线

5.3 关键超参数

• 学习率：小模型可取1e-4~3e-4量级，并配合几百步的warmup预热；
• 衰减策略：余弦退火是稳妥的默认选择；
• 有效批大小：显存不足时用梯度累积凑够；
• 混合精度：开启后速度与显存占用都会明显改善。

判断训练是否健康，盯住一条曲线即可：训练loss应平稳下降。若震荡剧烈或发散，优先调低学习率、回头检查数据质量。

六、指令微调：从“会接话”到“会答话”

微调阶段只改两件事：

1. 数据形态：从纯文本片段换成结构化对话；
2. 损失掩码：只对助手回答部分计算损失，指令部分不参与，这是初学者最常忽略却至关重要的一步，否则模型会浪费容量去“背诵问题”而非“学习回答”。

数据量不必贪多，几千条高质量样本往往胜过几万条噪声样本。微调学习率应显著低于预训练（例如低一个数量级），轮数控制在1~3个epoch以防过拟合。若想在更大的底座上轻量微调，也可以选择LoRA这类低秩适配方法，冻结原参数只训练少量新增参数；不过在自己的小模型上，全参数微调反而最直接、最利于理解全貌。

七、评测与上手体验

7.1 客观指标

• 困惑度：在留出集上评估，越低说明语言建模越扎实；
• 小规模基准：可用若干道常识与简单数学题做粗筛，但别对分数期望过高，小模型的分数意义远小于流程验证意义。

7.2 主观体验

最简单的方式是在命令行里做一问一答：加载训练好的权重，逐词元生成，调整温度、top-k等采样参数观察输出差异；也可以用轻量脚本搭一个网页对话界面，直观感受“自己的模型在说话”。

预期管理要提前做好：千万参数级的模型，输出大概率“通顺但平庸”——会组织句式、会围绕话题，但缺乏深度知识。这很正常，它证明的是：整条技术链路，你亲手跑通了。

八、值得继续深入的四个方向

1. 偏好对齐：在SFT之后加入基于偏好排序的轻量对齐方法（如DPO），观察回答风格的变化；
2. 知识蒸馏：用更大模型的输出指导小模型，提升其生成质量；
3. 量化与部署：将权重压缩到低比特位（如int8/int4），让模型在普通设备上运行；
4. 模块改进复刻：逐个替换旋转位置编码、分组查询注意力等经典改进，逐个对比效果。

每个方向都建议维持“小模型+短周期”的实验节奏：快速验证、快速纠错。

九、写在最后

回到开头的问题：怎么训练自己的AI小模型？答案并不神秘，选定一个几十MB的小架构，准备一份干净的语料，写一个朴素但完整的训练循环，再把微调与评测补齐。总成本可能不超过一杯咖啡，总周期可能不过一个周末。

更重要的是心态转变：从框架的“调用者”，变成原理的“建造者”。当你亲眼看到loss曲线第一次明显下坠、亲手在命令行里与自己的模型对话时，大模型在你眼中就不再是黑盒，而是一组可以被理解、被修改、被重建的机制。

现在，就从搭好第一个训练循环开始吧。