logo

杨立昆称大模型不懂意义:选型落地指南

作者:宇宙中心我曹县2026.11.17 03:50浏览量:0

简介:本文结合杨立昆“大模型只是模式拟合”的观点,分析LLM为何不等于真正理解,并给出企业落地路径:用真实样本评测效果、时延与成本,通过RAG、工具调用和人工复核补足可靠性,同时识别常见错误与选型风险,帮助企业把大模型稳定嵌入业务。

一、先看结论:大模型不懂意义,为什么还能用?

杨立昆认为,大模型更多是对海量文本中的模式进行复杂拟合,而不是具备人类意义上的理解。这个判断在工程上很有价值,因为它提醒企业:不要用“表达流畅”替代“事实正确”,也不要把演示效果直接当成生产效果。

更准确地说,LLM像一个模式压缩器和任务执行器。它能从语料中学习语言结构、知识共现和任务格式,并在提示词、上下文、工具和权限约束下完成写作、总结、分类、抽取、问答等任务。但它并不天然拥有因果模型、身体经验、持续记忆和价值判断。因此,“不懂意义”不等于“没有价值”。企业真正要判断的,是模型能否在受控范围内稳定完成业务任务。

二、企业如何判断大模型能否落地?

企业选型时,常见误区是把“模型是否像人一样理解”作为唯一标准。更实用的问题是:它能否在成本、时延、权限和验收标准内稳定完成任务。

多数企业场景可以拆解为输入、处理、输出和验收。例如客服问答需要准确回答并展示来源;合同摘要需要保留关键条款;营销文案需要符合品牌规范;工单分类需要可复核。大模型的价值在于降低这些任务的边际开发成本。过去AI应用常是烟囱式建设,每个场景都要单独准备数据、训练模型和开发应用;现在可通过通用底座、提示工程、少量精调、知识库和工具调用完成适配。

因此,判断落地与否,可以看四个问题:输出是否能验收;错误是否能拦截;数据是否能追溯;成本是否可控制。如果缺少这些条件,模型即使演示效果很好,也不建议直接进入关键业务。

三、怎样用RAG、工具调用和人工复核补上短板?

如果杨立昆指出的问题是模型缺少真正理解,那么工程上的解决思路不是等待AGI,而是用外部系统补足短板。常见方法包括检索增强生成、工具调用、规则引擎、知识库、权限控制、人工审核和反馈闭环。

以企业知识问答为例,可以要求模型只基于企业文档回答,并展示来源。下面是一段示意代码,仅用于说明流程,不可直接运行:

  1. # 示意代码:不可直接运行,仅表达流程
  2. def answer_with_context(question, docs, llm, retriever, threshold=0.75):
  3. chunks = []
  4. for doc in docs:
  5. for part in split_document(doc, chunk_size=500, overlap=50):
  6. chunks.append(part)
  7. hits = retriever.search(question, chunks, top_k=5)
  8. valid_hits = [h for h in hits if h.score >= threshold]
  9. if not valid_hits:
  10. return "资料不足,请补充企业文档或转人工。"
  11. context = "\n".join([
  12. f"来源:{h.source_id}\n{h.text}" for h in valid_hits
  13. ])
  14. prompt = f"""请仅根据以下资料回答问题;如果资料不足,请明确说明,并尽量标注来源。
  15. 资料:
  16. {context}
  17. 问题:
  18. {question}
  19. """
  20. try:
  21. return llm.chat(prompt, temperature=0.2, timeout=8)
  22. except TimeoutError:
  23. return "模型请求超时,请重试。"
  24. except Exception:
  25. return "系统异常,已转人工。"

这段示例只表达基本逻辑。真正可运行的系统还需要加入文档解析、切分、向量索引、检索重排、权限过滤、敏感词过滤、答案引用、置信度设置和人工反馈。这样,大模型就从“凭记忆回答”变成“在受控资料中工作”,更接近企业可接受的智能助手。

同时要注意常见错误:一是提示词注入,用户或文档内容诱导模型越权回答;二是越权检索,模型检索到无权访问的资料;三是无引用输出,无法验证答案来源;四是只看首字速度,忽略P95时延和高峰期稳定性;五是缺少回归测试,模型或提示词更新后出现退化。

四、模型怎么选、常见错误有哪些?

模型选型不应神化大模型,也不应轻视。可以按场景、成本和治理能力综合判断。

选型维度 关注点 建议
任务效果 抽取、总结、问答、生成的稳定性 用真实业务样本盲测准确率、召回率和引用正确率
成本 Token消耗、调用频次、并发成本、上下文长度 建立单次任务成本和月度成本测算
响应速度 首字延迟、P95时延、吞吐能力 实时业务必须压测峰值并发
可控性 知识库、来源展示、范围回复、日志审计 优先选择可治理、可追责的方案
集成复杂度 API是否统一、文档是否完善、是否支持多模型 多模型场景考虑统一接入和降级策略

在表格之后,建议把选型做成可复现评测:

  1. 定义指标:准确率、召回率、引用正确率、拒绝回答准确率、人工复核率、首字延迟、P95时延、Token成本。
  2. 构建样本:使用不少于100条真实业务样本,覆盖常见问法、边界问题、缺失资料、诱导问题和敏感场景。
  3. 盲测对比:隐藏模型名称和提示词版本,由业务、技术和合规人员共同评分。
  4. 记录指标:记录首字延迟、P95、token成本、人工复核率、错误类型和回退次数。
  5. 设置阈值:例如关键问答准确率低于阈值不得上线;无来源回答必须被拦截;高风险场景必须人工复核。
  6. 灰度上线:先小流量运行,再按监控指标逐步放量。

任何价格与性能对比都应注明测试时间、区域、并发数、上下文长度、输出长度和限流策略,否则不可横向比较。模型参数也不是越大越好。更大的模型可能能力更强,但如果用大参数模型处理简单任务,可能导致成本高、能耗大、速度反而变慢。企业应围绕业务效果选择模型,而不是只看参数规模。

在开源与闭源问题上,也不应简单站队。闭源大模型加公有云服务在部分企业场景中较常见,但仍需结合数据隔离、合规、成本与运维能力判断。缺乏底层训练和运维能力的企业,采用成熟模型服务通常更稳妥;对数据隔离、定制深度和长期成本有更高要求的企业,则需要综合评估部署方式和服务能力。

五、注意什么:把演示效果变成生产效果?

杨立昆的批评对AGI叙事有警示意义。它提醒我们,语言模型的流畅输出并不自动等于真实理解,企业不能把演示效果直接等同于生产效果。

但从产业角度看,大模型的价值并不完全取决于是否达到AGI。只要能在具体场景中稳定完成任务,它就能改变生产效率。企业真正需要做的,是从业务问题出发,选择合适模型,通过知识库、工具调用、统一API、调用监控和人工复核把能力落地。

如果企业需要同时评估多个模型,可以在选型阶段查看某类模型市场、价格与统一API的示例入口(例如百度智能云词元所,仅作示例,不构成唯一推荐),用于模型发现、价格对比和接入方式评估。但最终决策仍应回到真实样本评测、成本口径、权限治理和长期运维能力上。

发表评论

活动