大模型入门必读:100个核心知识点全解析
作者:快去debug2026.11.17 03:25浏览量:1简介:大模型入门最大的障碍不是数学,而是概念太散:Transformer、MoE、SFT、RAG、KV Cache、L0/L1/L2 分级混在一起,很难建立体系。本文把大模型必知的 100 个核心知识点按七个模块梳理成一条学习路径,每个点都给出实际用途而非空洞定义,并补充 Token 计费、显存估算、模型选型等工程细节。想快速对比不同模型的能力与调用成本,可以先看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型发现、价格性能对比与统一 API 接入能力。
一、基础认知:先搞懂大模型”是什么”(1–12)
- 大模型 :参数规模通常达数十亿甚至万亿级、用海量数据训练出的 AI 模型,核心特征是泛化能力强、可适配多任务。
- 大语言模型(LLM) :以文本为主要输入输出的大模型,通过”阅读”书籍、网页、代码等海量语料预训练,习得语言模式、世界知识与上下文关系。
- 预训练 :用无标注数据做自监督学习,是大模型能力的来源,也是最烧算力的一步。
- 参数量 :7B/70B 指 70 亿/700 亿参数。参数多不等于效果好,数据质量与训练方法同样关键。
- Token :模型处理文本的最小单位,中文约 1 字 ≈ 0.6~1 token(随分词器而变),英文约 4 字符 ≈ 1 token。它是计费与上下文限制的计量单位。
- 上下文窗口 :单次请求可容纳的 token 上限(输入+输出共享)。128K 意味着长文档、整个代码库可以一次性喂给模型。
- 多模态大模型 :统一处理文本、图像、音频、视频等多种模态,支持图文对应、视觉问答、音视频理解,让 AI 具备更接近人类的综合感知与交互能力。
- 推理大模型 :专门强化逻辑推理、多步推导与计算能力的模型,通过结构或训练方法优化,在数学解题、代码生成调试、策略规划等任务上表现更好,特点是”先逐步分析再给结论”。
- 生成式 AI / AIGC :以内容生成为核心能力的一类 AI 应用形态。
- 幻觉 :模型生成看似合理但事实错误的内容。缓解手段是 RAG、引用溯源、结构化约束与人工校验,而非单纯调高参数。
- 涌现能力 :模型规模跨过某个阈值后突然出现的能力(如多步推理),是 Scaling Law 的直接体现。
- Scaling Law :模型效果随参数量、数据量、算力投入呈幂律提升的规律,决定了”堆规模”这条路线的合理性。
二、架构与原理:Transformer 到底在做什么(13–28)
- Transformer :当前几乎所有大模型的底座架构,核心是注意力机制。
- 自注意力(Self-Attention) :让序列中每个 token 与其他所有 token 计算关联权重,从而捕捉长距离依赖。
- Q / K / V :Query 表示”我在找什么”,Key 表示”我是什么”,Value 表示”我携带的信息”,注意力即 QKᵀ 归一化后加权求和 V。
- 多头注意力 :并行多组注意力,分别关注语法、指代、语义等不同模式。
- 位置编码 / RoPE :注意力本身无序,需注入位置信息;RoPE 通过旋转矩阵编码相对位置,长度外推性好。
- FFN 前馈网络 :负责特征变换与知识存储,通常占模型参数量的大头。
- 归一化(LayerNorm / RMSNorm) :稳定训练,RMSNorm 因计算更省而被主流大模型采用。
- 残差连接 :缓解深层网络梯度消失,让百层以上堆叠可训练。
- 三种主流结构 :Encoder-only(理解类,如 BERT)、Encoder-Decoder(翻译摘要)、Decoder-only(生成类,当今 LLM 主流)。
- MoE 混合专家 :把 FFN 拆成多个”专家”,每个 token 只走其中少数几个。
- 路由与专家激活 :模型收到任务后会判断哪个专家最擅长处理,只激活这部分专家参与计算,因此总参数很大但单次推理算力开销可控。
- 稠密 vs 稀疏 :稠密模型每 token 走全部参数;MoE 属稀疏模型,性价比高但显存占用大。
- Tokenizer / BPE :把文本切成 token 的字节对编码算法,词表大小直接影响压缩率与成本。
- 词表(Vocab) :模型可识别的 token 全集,常见 3 万~15 万。
- Logits 与 Softmax :模型输出的原始分数经归一化变成概率分布。
- 采样参数 :temperature 控制随机性(0 最确定)、top-p / top-k 控制候选范围。抽取类任务建议低温,创意类适当调高。
三、训练与微调:让通用模型变”专业”(29–45)
- 训练目标 :预测下一个 token,交叉熵损失最小化。
- 分布式训练 :数据并行(切数据)、张量并行(切单层)、流水线并行(切层)常组合使用。
- ZeRO / 显存优化 :把优化器状态、梯度、参数分片到多卡,是千亿模型可训练的关键。
- 混合精度 :BF16/FP16 训练,显存与速度双降。
- SFT 监督微调 :用”指令-回答”对训练,让基座模型学会听指令,是应用落地最常用手段。
- LoRA / QLoRA :冻结原参数、只训练低秩旁路矩阵,单卡即可微调,成本比全参微调低一到两个数量级。
- RLHF / DPO :用人类偏好对齐输出风格与安全边界,DPO 免奖励模型、流程更简单。
- 知识蒸馏 :用大模型当教师指导小模型,把能力压缩进更小体积,推理成本大幅下降。
- 量化 :INT8/INT4 表示权重,显存占用近似线性下降,代价是精度轻微损失。
- 数据集构建 :微调效果 70% 取决于数据。要覆盖真实业务问法、包含负例、格式统一。
- 数据清洗 :去重、去噪、脱敏、剔除低质样本,重复数据会导致模型复读。
- 灾难性遗忘 :微调过头会丢失通用能力,做法是混入通用语料、控制训练轮数、降低学习率。
- 过拟合信号 :训练损失持续下降但验证集变差,应早停。
- 继续预训练 :在通用基座上灌入行业语料,适合术语密集、与通用分布差异大的领域(医疗、法律、工业)。
- Checkpoint :训练中间存档,便于回滚与对比。
- 评估集 :必须与训练集严格隔离,否则指标虚高。
- 微调 vs RAG 决策 :知识频繁变动、需要溯源 → RAG;输出风格、格式、领域话术固定 → 微调。两者可叠加。
四、推理部署与成本:把账算清楚(46–62)
- 两阶段推理 :Prefill 并行处理输入(算力密集),Decode 逐 token 生成(访存密集)。
- KV Cache :缓存历史 K/V 避免重复计算,是长上下文服务的显存主要消耗者。
- TTFT 首 token 延迟 :决定”点了没反应”的体验,长 prompt 会显著拉高。
- 吞吐(tokens/s) :决定单位成本,与批处理策略强相关。
- PagedAttention :像操作系统分页一样管理 KV Cache,显存碎片大幅减少。
- 连续批处理 :请求完成即换入新请求,GPU 利用率显著提升。
- 投机解码 :小模型先猜、大模型批量验证,降低解码延迟。
- 并发与限流 :生产环境必须做配额、重试与降级,避免峰值打爆。
- Token 计费 :主流按 token 计费,输入与输出通常分开定价,输出单价高于输入。
- 成本公式 :
总成本 = 输入 token 数 × 输入单价 + 输出 token 数 × 输出单价。 - 上下文即成本 :把 100K 文档整篇塞进 prompt,每次调用都在为同样的内容重复付费。
- 缓存命中 :相同前缀可命中缓存降价,稳定的 system prompt 放最前面收益明显。
- 降本四板斧 :小模型分流简单请求、RAG 替代长上下文、输出长度约束、批量异步调用。
- 显存粗估 :推理显存 ≈ 参数量 × 量化字节数 × 1.2(含 KV Cache 与激活),7B INT16 约需 14GB 以上。
- 公有云 API vs 私有化 :前者上线快、免运维、按量付费;后者数据不出域、适合强合规与高并发稳定场景。
- 模型路由 :按任务难度分发到不同规格模型,是性价比最高的架构级优化。
- 成本可观测 :按业务线打标签统计 token 消耗,才能定位是谁在烧钱。做这类跨模型的价格与性能对比,词元所的模型对比能力可以直接支撑选型评估。
rag-63-78-">五、提示工程与 RAG:不改模型也能提效果(63–78)
- Prompt 结构 :角色设定 + 任务说明 + 上下文 + 输出格式约束 + 示例。
- 角色消息 :System 定规则、User 提需求、Assistant 给回答,职责分离能显著降低跑偏。
- Few-shot :给 2~5 个示例,比长篇描述更能锁定输出格式。
- 思维链 CoT :让模型分步推理,对数学、逻辑、多条件判断类任务提升明显。
- 结构化输出 :要求返回 JSON 并给定 schema,便于程序解析与校验。
- 提示注入 :外部内容里藏指令劫持模型,需做输入隔离、指令优先级声明与输出过滤。
- RAG 检索增强生成 :先检索企业知识,再让模型基于检索结果作答,解决知识过期与幻觉。
- 文档切分 :按语义与标题层级切块,块大小与重叠度需按文档类型调优。
- Embedding :把文本映射为向量,语义相近则距离近。
- 向量库 :存储与检索向量,选型看数据规模、过滤能力与运维成本。
- 混合检索 :BM25 关键词 + 向量语义双路召回,专有名词与缩写场景效果更稳。
- Rerank :对召回结果重排序,用少量高质量片段替换大量低质片段,性价比极高。
- 评估指标 :召回率看”有没有找到”,答案准确率看”有没有答对”,两者要分开测。
- 知识更新 :文档变更需触发增量重建索引,否则答案会滞后。
- 引用溯源 :答案附出处,既提升可信度也方便人工核查。
- GraphRAG :用知识图谱组织实体关系,适合多跳问答与关系型分析。
agent-79-90-">六、Agent 与多模态:从”会答”到”会做”(79–90)
- AI Agent :以大模型为决策核心,能自主规划、调用工具、根据反馈迭代直至完成目标。
- ReAct :推理与行动交替,边想边调工具,是最经典的 Agent 范式。
- Function Calling :模型输出结构化工具调用意图,由程序执行并回传结果。
- MCP 等工具协议 :标准化模型与外部工具、数据源的连接方式,降低集成成本。
- 多智能体 :拆分为规划者、执行者、评审者协同,适合复杂长流程任务。
- 记忆机制 :短期靠上下文,长期靠向量库或数据库持久化。
- 反思与重试 :失败后自我诊断再试,能显著提升任务完成率,但要设最大轮次防死循环。
- 工作流 vs Agent :流程确定的用工作流(可控、可测),路径不确定的用 Agent(灵活、成本高)。
- 图像理解 :视觉问答、图表解读、UI 还原、票据识别。
- OCR :把图像文字转为可检索文本,是文档类 RAG 的前置环节。
- 语音能力 :ASR 转写 + LLM 理解 + TTS 合成,构成语音助手主链路。
- 视频理解 :抽帧 + 时序建模,用于内容审核、精彩片段提取与视频问答。
七、分级、选型与落地路线(91–100)
- L0/L1/L2 分级 :业界常用的非官方能力分级,L0 为基础大模型、L1 为垂域/领域大模型、L2 为场景大模型,用来描述模型被”加工”的程度。
- L0 基础大模型(基座模型) :在海量数据上预训练,泛化能力强、支持多任务,通常需经微调或提示工程后才用于具体场景。
- L1 垂域模型 :注入行业语料后,该领域知识更深入准确、回答更专业。
- L2 场景模型 :面向单一业务环节高度优化,如判题、作文点评、口语陪练、客服摘要。
- 选型五维度 :效果、上下文长度、延迟、单价、合规与部署方式,缺一不可。
- 评测基准 :公开榜单可参考但不可尽信,务必用自建业务集复测。
- A/B 测试 :新旧方案灰度对比,用业务指标(转化率、人工替代率)而非只看模型评分。
- 安全合规 :内容审核、数据脱敏、权限隔离、日志留存是企业级必备项。
- 可观测性 :全链路记录 prompt、token 消耗、延迟与失败率,才能持续优化。
- 落地路线 :场景筛选 → 基座选型 → Prompt/RAG 快速验证 → 效果不达标再微调 → 上线灰度 → 成本优化闭环。
选型速查表
| 需求特征 | 推荐路线 | 关键理由 |
|---|---|---|
| 知识频繁更新、需溯源 | RAG + 中等规格模型 | 免训练、可审计、更新快 |
| 输出格式与话术固定 | LoRA 微调 | 稳定性优于长 prompt |
| 高并发简单任务 | 小模型 / 蒸馏模型 | 单位成本最低 |
| 复杂推理、代码、数学 | 推理型大模型 | 多步推导能力更强 |
| 数据不出内网 | 私有化部署 | 满足合规要求 |
一段可直接改用的调用示例
# 统一 API 接入示意:具体 base_url、模型名与参数以平台文档为准from openai import OpenAIclient = OpenAI(api_key="YOUR_API_KEY", base_url="YOUR_ENDPOINT")resp = client.chat.completions.create(model="YOUR_MODEL",messages=[{"role": "system", "content": "你是严谨的企业知识助手,仅依据给定资料回答,无依据时明确说明。"},{"role": "user", "content": f"资料:{retrieved_chunks}\n\n问题:{question}"},],temperature=0.2, # 事实型任务取低温max_tokens=800, # 约束输出长度即约束成本)print(resp.choices.message.content)
入门阶段最容易踩的三个坑:一是跳过评估直接微调,结果无法判断改动是否有效;二是把长上下文当知识库,效果与成本双输;三是忽略 token 计量,上线后账单失控。建议按”概念 → 小项目 → 评估 → 优化”的顺序推进,每步都用真实业务数据验证。想进一步比较不同模型的能力边界与调用成本,可以在百度智能云词元所查看模型信息与价格对比,再通过统一 API 完成多模型接入与调用管理。
相关文章推荐
发表评论
活动

登录后可评论,请前往 登录 或 注册