logo

大模型入门必读:100个核心知识点全解析

作者:热心市民鹿先生2026.11.17 03:39浏览量:0

简介:本文把大模型全栈知识拆成概念、数据、训练、推理部署、应用开发、安全治理六大模块共100个要点,每条给出一句话解释与实际用途,帮你从零建立完整知识地图。想边学边选型,可以先看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力查询、价格与性能对比、统一 API 接入,适合入门阶段横向比较不同模型。

大模型入门最大的障碍不是数学,而是概念太碎:MoE、LoRA、RAG、KV Cache 混在一起,不知道该先学哪个。下面按”从概念到落地”的顺序梳理100个核心知识点,每条一句话讲清是什么、用在哪。

一、概念篇(1–20):先把术语对齐

  1. 大模型 :参数规模达数十亿至万亿级、用海量数据预训练出的通用模型。
  2. 大语言模型(LLM) :大模型中最主流的一类,专门处理与生成人类语言。
  3. 多模态大模型 :统一理解文本、图像、音频、视频,支持图文问答、视频理解等任务。
  4. 推理大模型 :通过强化学习与长思维链强化多步推导,擅长数学、代码、复杂规划。
  5. L0/L1/L2 分级 :业界常用的非官方分层,分别对应基础大模型、垂域大模型、场景大模型。
  6. 基座模型 :在海量数据上预训练、泛化能力强,需微调或提示工程后才能落地。
  7. 垂域模型 :用医学、法律、金融等领域语料继续训练,回答更专业。
  8. 场景模型 :面向具体业务流程和交互方式定制的模型。
  9. MoE(混合专家) :由多个”专家”子网络组成,每个 token 只激活部分专家,参数大但计算省。
  10. CoE(专家链) :MoE 的演进,专家由并行改为流水线式串行协作。
  11. Transformer :几乎所有现代大模型的底层架构,核心是注意力机制。
  12. Self-Attention :让每个 token 关注序列中其他 token,从而建模长距离依赖。
  13. Token 与分词 :模型处理文本的最小单位,中文通常1字≈1–2 token,计费也按 token 算。
  14. 上下文窗口 :单次请求能容纳的 token 上限,决定能塞进多少文档。
  15. Embedding :把文本映射成向量,是语义检索与聚类的基础。
  16. 涌现能力 :参数规模跨过某个阈值后突然出现的新能力,如多步推理。
  17. Scaling Law :模型效果随参数量、数据量、算力按幂律提升的经验规律。
  18. 幻觉 :模型生成看似合理但事实错误的内容,是大模型落地的头号风险。
  19. Temperature / Top-p :控制输出随机性的采样参数,低温更稳定,高温更有创意。
  20. 判别式 vs 生成式 :前者做分类打标,后者做内容生成,任务选型的第一道分岔。

二、数据篇(21–33):效果上限由数据决定

  1. 预训练语料 :网页、书籍、代码、论文等混合而成,决定模型的知识面。
  2. 数据清洗 :去重、去噪、去广告、过滤低质文本,通常直接决定训练收益。
  3. 数据配比 :中英文、代码与自然语言的比例需要反复调参。
  4. SFT 数据 :指令-回答对,教模型”按人类期望的方式回答”。
  5. 偏好数据 :同一问题的优劣回答对,用于 RLHF、DPO 等对齐训练。
  6. 数据标注 :人工标注质量比数量更重要,需配套标注规范与质检。
  7. 合成数据 :用强模型生成训练数据,可扩量但需防偏差累积。
  8. 数据污染 :评测集误入训练集导致分数虚高,务必做去重校验。
  9. 语料合规 :版权、个人信息、行业监管要求,企业场景必须前置审查。
  10. 领域语料库 :企业私域文档、工单、手册的结构化沉淀。
  11. 数据飞轮 :用户反馈→数据回流→模型迭代的正循环。
  12. 样本 packing :多条短样本拼接填满上下文,提升训练效率。
  13. 数据版本管理 :数据集与模型版本一一对应,否则问题无法复现。

三、训练与微调篇(34–55):知道该花多少钱

  1. 预训练目标 :预测下一个 token,简单目标撑起全部语言能力。
  2. 并行策略 :数据并行、张量并行、流水线并行,大模型训练通常三者混用。
  3. ZeRO / 显存优化 :切分优化器状态与梯度,让有限显存训更大模型。
  4. 混合精度 :BF16/FP16 训练,兼顾速度与数值稳定。
  5. 梯度累积 :小显存模拟大 batch 的常用手段。
  6. 学习率调度 :warmup + 余弦衰减是主流配置。
  7. 全参微调 vs LoRA :全参效果好成本高;LoRA/QLoRA 只训少量参数,单卡可跑。
  8. SFT 全流程 :数据构造→训练→验证→部署,企业最常用的一条链路。
  9. RLHF :奖励模型 + PPO,让输出更符合人类偏好。
  10. DPO :跳过奖励模型,直接用偏好对优化,工程更轻。
  11. GRPO :推理模型常用的强化学习算法,去掉价值网络降低开销。
  12. 灾难性遗忘 :微调后通用能力下降,需混入通用数据缓解。
  13. 长上下文扩展 :通过位置编码插值/外推把窗口从 4K 拉到 128K 以上。
  14. 量化 :INT8/INT4 压缩权重,GPTQ、AWQ 是常见方案。
  15. 蒸馏 :用大模型教小模型,在成本敏感场景非常实用。
  16. 剪枝 :去掉冗余参数与注意力头。
  17. 模型合并 :多个微调权重融合,低成本获得能力叠加。
  18. Checkpoint :定期存档,支持断点续训。
  19. 训练稳定性 :loss 突刺、梯度爆炸,靠梯度裁剪与数据排查解决。
  20. 评测体系 :公开 benchmark + 私有业务评测集,后者才是决策依据。
  21. 算力估算 :训练算力约 6×参数量×token 数(FLOPs),可反推卡数与周期。
  22. 成本核算 :把 GPU 时长、存储、人力一起算,避免”训得起用不起”。

四、推理与部署篇(56–68):性能与成本的战场

  1. KV Cache :缓存历史注意力结果,避免重复计算,代价是显存。
  2. PagedAttention :像操作系统分页一样管理 KV Cache,显著提吞吐。
  3. Continuous Batching :请求动态拼批,是推理服务高吞吐的关键。
  4. TTFT / TPOT :首 token 延迟与每 token 输出耗时,直接决定体感。
  5. 投机解码 :小模型草稿 + 大模型校验,加速生成。
  6. 推理量化 :降低显存与延迟,需评估精度损失。
  7. 限流与配额 :防止突发流量打爆服务。
  8. 公有云 API vs 私有化 :前者上线快、按量付费;后者数据可控、适合强合规场景。
  9. 弹性伸缩 :按并发自动扩缩实例,控制闲时成本。
  10. 可观测性 :日志、token 用量、延迟、失败率必须可追踪。
  11. 灰度与 A/B :新模型上线先小流量验证。
  12. 语义缓存 :相似问题命中缓存直接返回,省钱又提速。
  13. 模型路由 :简单请求走小模型、复杂请求走大模型,整体成本可显著下降。

五、应用开发篇(69–88):把模型变成产品

  1. Prompt 工程 :角色、任务、约束、示例、输出格式五要素。
  2. Few-shot :给几个示例比长篇描述更有效。
  3. CoT :引导模型分步思考,提升推理类任务准确率。
  4. ReAct :思考-行动-观察循环,Agent 的基础范式。
  5. 结构化输出 :JSON mode、function calling 让结果可被程序消费。
  6. RAG :检索增强生成,解决知识时效与私域数据问题。
  7. Chunking :切分粒度影响召回,需按文档结构切而非定长硬切。
  8. 向量检索 :Embedding + 向量库做语义召回。
  9. 混合检索 :BM25 关键词 + 向量语义,互补效果最好。
  10. Rerank :对召回结果重排序,是提升答案质量性价比最高的一步。
  11. Query 改写 :多轮对话中先补全指代再检索。
  12. Agent 架构 :规划、工具调用、记忆三件套。
  13. 工具协议 :标准化工具描述与调用规范,便于生态复用。
  14. 多智能体 :分工协作处理长链路任务,但会放大调试难度。
  15. 记忆机制 :短期靠上下文,长期靠向量库或结构化存储。
  16. 工作流编排 :确定性流程用工作流,开放性任务才交给 Agent。
  17. LLM-as-Judge :用强模型自动打分,配合人工抽检做效果评估。
  18. 反馈闭环 :点赞点踩、 badcase 归集,反哺 Prompt 与数据。
  19. 场景选型 :抽取分类优先小模型微调,开放生成优先大模型 + RAG。
  20. 模型选型维度 :效果、上下文长度、价格、并发、合规、生态工具链。

六、安全与治理篇(89–100):企业落地的一票否决项

  1. 提示注入 :外部内容里藏指令劫持模型,需输入隔离与指令优先级设计。
  2. 越狱攻击 :绕过安全策略诱导违规输出,需持续红队测试。
  3. 内容审核 :输入输出双向过滤,覆盖政治、色情、暴恐、歧视等类别。
  4. 数据脱敏 :手机号、身份证、病历等敏感信息进模型前先脱敏。
  5. 最小权限 :Agent 的工具权限按任务最小化授予。
  6. 输出合规 :生成内容需符合行业监管与广告法要求。
  7. 审计留痕 :请求、响应、操作全链路可回溯。
  8. 供应链安全 :第三方模型来源、许可、后门风险需评估。
  9. 成本监控 :按业务线归集 token 消耗,设置预算告警。
  10. 幻觉治理 :RAG 溯源 + 拒答机制 + 关键结论人工复核。
  11. 可解释与引用 :答案标注来源片段,方便用户核验。
  12. 持续运营 :模型、Prompt、知识库三者都要版本化迭代,而非一次交付。

学习路径建议

入门按”概念 → Prompt → RAG → Agent → 微调 → 部署”推进,前四步不需要 GPU 就能完成,最后两步再考虑算力投入。企业团队还可以参考百度智能云的大模型培训服务,从通识课到千帆平台实操、工作坊分层递进,帮助团队快速形成落地能力。

真正开始动手时,第一件事是选定一个可用模型。百度智能云千帆预置了文心系列与上百个第三方模型,覆盖文本、多模态等场景;如果希望先横向比较不同模型的能力与调用成本,可以在词元所模型服务上查看模型信息与价格对比,再通过统一 API 接入完成多模型切换,避免为每个模型单独适配一套 SDK。入门阶段先用小成本请求验证效果,再决定是否投入微调,是风险最低的路径。

发表评论

活动