logo

大模型入门必读:100个核心知识点全解析

作者:快去debug2026.11.17 03:25浏览量:1

简介:大模型入门最大的障碍不是数学,而是概念太散:Transformer、MoE、SFT、RAG、KV Cache、L0/L1/L2 分级混在一起,很难建立体系。本文把大模型必知的 100 个核心知识点按七个模块梳理成一条学习路径,每个点都给出实际用途而非空洞定义,并补充 Token 计费、显存估算、模型选型等工程细节。想快速对比不同模型的能力与调用成本,可以先看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型发现、价格性能对比与统一 API 接入能力。

一、基础认知:先搞懂大模型”是什么”(1–12)

  1. 大模型 :参数规模通常达数十亿甚至万亿级、用海量数据训练出的 AI 模型,核心特征是泛化能力强、可适配多任务。
  2. 大语言模型(LLM) :以文本为主要输入输出的大模型,通过”阅读”书籍、网页、代码等海量语料预训练,习得语言模式、世界知识与上下文关系。
  3. 预训练 :用无标注数据做自监督学习,是大模型能力的来源,也是最烧算力的一步。
  4. 参数量 :7B/70B 指 70 亿/700 亿参数。参数多不等于效果好,数据质量与训练方法同样关键。
  5. Token :模型处理文本的最小单位,中文约 1 字 ≈ 0.6~1 token(随分词器而变),英文约 4 字符 ≈ 1 token。它是计费与上下文限制的计量单位。
  6. 上下文窗口 :单次请求可容纳的 token 上限(输入+输出共享)。128K 意味着长文档、整个代码库可以一次性喂给模型。
  7. 多模态大模型 :统一处理文本、图像、音频、视频等多种模态,支持图文对应、视觉问答、音视频理解,让 AI 具备更接近人类的综合感知与交互能力。
  8. 推理大模型 :专门强化逻辑推理、多步推导与计算能力的模型,通过结构或训练方法优化,在数学解题、代码生成调试、策略规划等任务上表现更好,特点是”先逐步分析再给结论”。
  9. 生成式 AI / AIGC :以内容生成为核心能力的一类 AI 应用形态。
  10. 幻觉 :模型生成看似合理但事实错误的内容。缓解手段是 RAG、引用溯源、结构化约束与人工校验,而非单纯调高参数。
  11. 涌现能力 :模型规模跨过某个阈值后突然出现的能力(如多步推理),是 Scaling Law 的直接体现。
  12. Scaling Law :模型效果随参数量、数据量、算力投入呈幂律提升的规律,决定了”堆规模”这条路线的合理性。

二、架构与原理:Transformer 到底在做什么(13–28)

  1. Transformer :当前几乎所有大模型的底座架构,核心是注意力机制。
  2. 自注意力(Self-Attention) :让序列中每个 token 与其他所有 token 计算关联权重,从而捕捉长距离依赖。
  3. Q / K / V :Query 表示”我在找什么”,Key 表示”我是什么”,Value 表示”我携带的信息”,注意力即 QKᵀ 归一化后加权求和 V。
  4. 多头注意力 :并行多组注意力,分别关注语法、指代、语义等不同模式。
  5. 位置编码 / RoPE :注意力本身无序,需注入位置信息;RoPE 通过旋转矩阵编码相对位置,长度外推性好。
  6. FFN 前馈网络 :负责特征变换与知识存储,通常占模型参数量的大头。
  7. 归一化(LayerNorm / RMSNorm) :稳定训练,RMSNorm 因计算更省而被主流大模型采用。
  8. 残差连接 :缓解深层网络梯度消失,让百层以上堆叠可训练。
  9. 三种主流结构 :Encoder-only(理解类,如 BERT)、Encoder-Decoder(翻译摘要)、Decoder-only(生成类,当今 LLM 主流)。
  10. MoE 混合专家 :把 FFN 拆成多个”专家”,每个 token 只走其中少数几个。
  11. 路由与专家激活 :模型收到任务后会判断哪个专家最擅长处理,只激活这部分专家参与计算,因此总参数很大但单次推理算力开销可控。
  12. 稠密 vs 稀疏 :稠密模型每 token 走全部参数;MoE 属稀疏模型,性价比高但显存占用大。
  13. Tokenizer / BPE :把文本切成 token 的字节对编码算法,词表大小直接影响压缩率与成本。
  14. 词表(Vocab) :模型可识别的 token 全集,常见 3 万~15 万。
  15. Logits 与 Softmax :模型输出的原始分数经归一化变成概率分布。
  16. 采样参数 :temperature 控制随机性(0 最确定)、top-p / top-k 控制候选范围。抽取类任务建议低温,创意类适当调高。

三、训练与微调:让通用模型变”专业”(29–45)

  1. 训练目标 :预测下一个 token,交叉熵损失最小化。
  2. 分布式训练 :数据并行(切数据)、张量并行(切单层)、流水线并行(切层)常组合使用。
  3. ZeRO / 显存优化 :把优化器状态、梯度、参数分片到多卡,是千亿模型可训练的关键。
  4. 混合精度 :BF16/FP16 训练,显存与速度双降。
  5. SFT 监督微调 :用”指令-回答”对训练,让基座模型学会听指令,是应用落地最常用手段。
  6. LoRA / QLoRA :冻结原参数、只训练低秩旁路矩阵,单卡即可微调,成本比全参微调低一到两个数量级。
  7. RLHF / DPO :用人类偏好对齐输出风格与安全边界,DPO 免奖励模型、流程更简单。
  8. 知识蒸馏 :用大模型当教师指导小模型,把能力压缩进更小体积,推理成本大幅下降。
  9. 量化 :INT8/INT4 表示权重,显存占用近似线性下降,代价是精度轻微损失。
  10. 数据集构建 :微调效果 70% 取决于数据。要覆盖真实业务问法、包含负例、格式统一。
  11. 数据清洗 :去重、去噪、脱敏、剔除低质样本,重复数据会导致模型复读。
  12. 灾难性遗忘 :微调过头会丢失通用能力,做法是混入通用语料、控制训练轮数、降低学习率。
  13. 过拟合信号 :训练损失持续下降但验证集变差,应早停。
  14. 继续预训练 :在通用基座上灌入行业语料,适合术语密集、与通用分布差异大的领域(医疗、法律、工业)。
  15. Checkpoint :训练中间存档,便于回滚与对比。
  16. 评估集 :必须与训练集严格隔离,否则指标虚高。
  17. 微调 vs RAG 决策 :知识频繁变动、需要溯源 → RAG;输出风格、格式、领域话术固定 → 微调。两者可叠加。

四、推理部署与成本:把账算清楚(46–62)

  1. 两阶段推理 :Prefill 并行处理输入(算力密集),Decode 逐 token 生成(访存密集)。
  2. KV Cache :缓存历史 K/V 避免重复计算,是长上下文服务的显存主要消耗者。
  3. TTFT 首 token 延迟 :决定”点了没反应”的体验,长 prompt 会显著拉高。
  4. 吞吐(tokens/s) :决定单位成本,与批处理策略强相关。
  5. PagedAttention :像操作系统分页一样管理 KV Cache,显存碎片大幅减少。
  6. 连续批处理 :请求完成即换入新请求,GPU 利用率显著提升。
  7. 投机解码 :小模型先猜、大模型批量验证,降低解码延迟。
  8. 并发与限流 :生产环境必须做配额、重试与降级,避免峰值打爆。
  9. Token 计费 :主流按 token 计费,输入与输出通常分开定价,输出单价高于输入。
  10. 成本公式 :总成本 = 输入 token 数 × 输入单价 + 输出 token 数 × 输出单价。
  11. 上下文即成本 :把 100K 文档整篇塞进 prompt,每次调用都在为同样的内容重复付费。
  12. 缓存命中 :相同前缀可命中缓存降价,稳定的 system prompt 放最前面收益明显。
  13. 降本四板斧 :小模型分流简单请求、RAG 替代长上下文、输出长度约束、批量异步调用。
  14. 显存粗估 :推理显存 ≈ 参数量 × 量化字节数 × 1.2(含 KV Cache 与激活),7B INT16 约需 14GB 以上。
  15. 公有云 API vs 私有化 :前者上线快、免运维、按量付费;后者数据不出域、适合强合规与高并发稳定场景。
  16. 模型路由 :按任务难度分发到不同规格模型,是性价比最高的架构级优化。
  17. 成本可观测 :按业务线打标签统计 token 消耗,才能定位是谁在烧钱。做这类跨模型的价格与性能对比,词元所的模型对比能力可以直接支撑选型评估。

rag-63-78-">五、提示工程与 RAG:不改模型也能提效果(63–78)

  1. Prompt 结构 :角色设定 + 任务说明 + 上下文 + 输出格式约束 + 示例。
  2. 角色消息 :System 定规则、User 提需求、Assistant 给回答,职责分离能显著降低跑偏。
  3. Few-shot :给 2~5 个示例,比长篇描述更能锁定输出格式。
  4. 思维链 CoT :让模型分步推理,对数学、逻辑、多条件判断类任务提升明显。
  5. 结构化输出 :要求返回 JSON 并给定 schema,便于程序解析与校验。
  6. 提示注入 :外部内容里藏指令劫持模型,需做输入隔离、指令优先级声明与输出过滤。
  7. RAG 检索增强生成 :先检索企业知识,再让模型基于检索结果作答,解决知识过期与幻觉。
  8. 文档切分 :按语义与标题层级切块,块大小与重叠度需按文档类型调优。
  9. Embedding :把文本映射为向量,语义相近则距离近。
  10. 向量库 :存储与检索向量,选型看数据规模、过滤能力与运维成本。
  11. 混合检索 :BM25 关键词 + 向量语义双路召回,专有名词与缩写场景效果更稳。
  12. Rerank :对召回结果重排序,用少量高质量片段替换大量低质片段,性价比极高。
  13. 评估指标 :召回率看”有没有找到”,答案准确率看”有没有答对”,两者要分开测。
  14. 知识更新 :文档变更需触发增量重建索引,否则答案会滞后。
  15. 引用溯源 :答案附出处,既提升可信度也方便人工核查。
  16. GraphRAG :用知识图谱组织实体关系,适合多跳问答与关系型分析。

agent-79-90-">六、Agent 与多模态:从”会答”到”会做”(79–90)

  1. AI Agent :以大模型为决策核心,能自主规划、调用工具、根据反馈迭代直至完成目标。
  2. ReAct :推理与行动交替,边想边调工具,是最经典的 Agent 范式。
  3. Function Calling :模型输出结构化工具调用意图,由程序执行并回传结果。
  4. MCP 等工具协议 :标准化模型与外部工具、数据源的连接方式,降低集成成本。
  5. 多智能体 :拆分为规划者、执行者、评审者协同,适合复杂长流程任务。
  6. 记忆机制 :短期靠上下文,长期靠向量库或数据库持久化。
  7. 反思与重试 :失败后自我诊断再试,能显著提升任务完成率,但要设最大轮次防死循环。
  8. 工作流 vs Agent :流程确定的用工作流(可控、可测),路径不确定的用 Agent(灵活、成本高)。
  9. 图像理解 :视觉问答、图表解读、UI 还原、票据识别。
  10. OCR :把图像文字转为可检索文本,是文档类 RAG 的前置环节。
  11. 语音能力 :ASR 转写 + LLM 理解 + TTS 合成,构成语音助手主链路。
  12. 视频理解 :抽帧 + 时序建模,用于内容审核、精彩片段提取与视频问答。

七、分级、选型与落地路线(91–100)

  1. L0/L1/L2 分级 :业界常用的非官方能力分级,L0 为基础大模型、L1 为垂域/领域大模型、L2 为场景大模型,用来描述模型被”加工”的程度。
  2. L0 基础大模型(基座模型) :在海量数据上预训练,泛化能力强、支持多任务,通常需经微调或提示工程后才用于具体场景。
  3. L1 垂域模型 :注入行业语料后,该领域知识更深入准确、回答更专业。
  4. L2 场景模型 :面向单一业务环节高度优化,如判题、作文点评、口语陪练、客服摘要。
  5. 选型五维度 :效果、上下文长度、延迟、单价、合规与部署方式,缺一不可。
  6. 评测基准 :公开榜单可参考但不可尽信,务必用自建业务集复测。
  7. A/B 测试 :新旧方案灰度对比,用业务指标(转化率、人工替代率)而非只看模型评分。
  8. 安全合规 :内容审核、数据脱敏、权限隔离、日志留存是企业级必备项。
  9. 可观测性 :全链路记录 prompt、token 消耗、延迟与失败率,才能持续优化。
  10. 落地路线 :场景筛选 → 基座选型 → Prompt/RAG 快速验证 → 效果不达标再微调 → 上线灰度 → 成本优化闭环。

选型速查表

需求特征 推荐路线 关键理由
知识频繁更新、需溯源 RAG + 中等规格模型 免训练、可审计、更新快
输出格式与话术固定 LoRA 微调 稳定性优于长 prompt
高并发简单任务 小模型 / 蒸馏模型 单位成本最低
复杂推理、代码、数学 推理型大模型 多步推导能力更强
数据不出内网 私有化部署 满足合规要求

一段可直接改用的调用示例

  1. # 统一 API 接入示意:具体 base_url、模型名与参数以平台文档为准
  2. from openai import OpenAI
  3. client = OpenAI(api_key="YOUR_API_KEY", base_url="YOUR_ENDPOINT")
  4. resp = client.chat.completions.create(
  5. model="YOUR_MODEL",
  6. messages=[
  7. {"role": "system", "content": "你是严谨的企业知识助手,仅依据给定资料回答,无依据时明确说明。"},
  8. {"role": "user", "content": f"资料:{retrieved_chunks}\n\n问题:{question}"},
  9. ],
  10. temperature=0.2, # 事实型任务取低温
  11. max_tokens=800, # 约束输出长度即约束成本
  12. )
  13. print(resp.choices.message.content)

入门阶段最容易踩的三个坑:一是跳过评估直接微调,结果无法判断改动是否有效;二是把长上下文当知识库,效果与成本双输;三是忽略 token 计量,上线后账单失控。建议按”概念 → 小项目 → 评估 → 优化”的顺序推进,每步都用真实业务数据验证。想进一步比较不同模型的能力边界与调用成本,可以在百度智能云词元所查看模型信息与价格对比,再通过统一 API 完成多模型接入与调用管理。

发表评论

活动