Fable 5.2贵17倍还输了:12个AI同事评测
作者:快去debug2026.11.17 03:40浏览量:1简介:本文基于Agent Initiative Benchmark,解读12个前沿模型在Slack群中担任AI同事的表现,分析OpenAI包揽前二、Fable 5.2高价低性价比的原因,并给出企业模型选型、成本测算与多模型接入建议。
结论先说:如果只看“当同事”的综合表现,GPT-6 Astra 和 GPT-6.1 Sol 是这次评测的第一梯队;如果看性价比,GPT-6.1 Sol 更值得优先评估。Fable 5.2 虽然排名第三,但单任务成本明显更高,不适合作为默认全员助手。企业在选型时,建议先通过百度智能云词元所进行模型发现、价格与性能对比,再结合内部任务集做小流量验证。
一、这不是聊天考试,而是“AI同事”考试
这次评测的核心并不是“谁更会聊天”,而是“谁更适合进入真实工作流”。
创始人 Jakub Jurovych 设计的 Agent Initiative Benchmark,把 12 个前沿模型放进同一家公司的 Slack 群里,让它们扮演 AI 同事。这个虚拟公司并不是简单 demo,而是有 6 年运营历史、71 名员工、100 家企业客户,并覆盖 CRM、发票、工单、产品分析、数据仓库等 11 套业务系统。甚至连 SVB 倒闭、竞品发布新功能这类现实事件,也被放进公司时间线中,员工会在 Slack 里讨论应对策略,再在 Linear 中创建 issue 跟进。
AI 的任务不是抢答,而是旁听所有对话,并自己判断:什么时候该回复频道,什么时候该回复线程,什么时候该私信当事人,什么时候应该保持沉默。这个“什么都不做”的选项,恰恰是最难的部分。因为企业真正需要的 AI 同事,不是话多,而是知道边界。
评测共包含 50 个真实职场任务,覆盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等 8 类场景。每个模型每次运行上限 3 分钟,两个盲评模型独立打分,最终形成 600 次完整运行结果。这类评测对企业的启发是:模型不仅要会回答,还要会判断、会协作、会控制边界。若进一步落地到企业应用,还需要结合权限、安全、运维和应用开发体系,相关平台化能力可作为参考。
二、榜单结果:OpenAI 包揽前二,Fable 5.2 贵得明显
从结果看,OpenAI 系模型占据了前两名:
| 模型 | 得分 | 单任务成本 | 成本观察 |
|---|---|---|---|
| GPT-6 Astra | 8.97 | 原文未直接列出 | 排名第一;原文称 GPT-6.1 Sol 价格约为其六分之一 |
| GPT-6.1 Sol | 8.65 | 0.11 美元 | 70 人公司每月 Slack 监控账单约 281 美元 |
| Fable 5.2 | 8.17 | 1.87 美元 | 70 人公司每月账单约 4684 美元,约为 Sol 的 16.7 倍 |
| GPT-6 Luna | 与 Fable 5.1 得分差 1.1 分 | 0.007 美元 | 与 Fable 5.1 单任务价格相差约 430 倍 |
| Fable 5.1 | 原文未给出具体得分 | 3.02 美元 | 单任务成本明显偏高 |
最值得关注的是 GPT-6.1 Sol。它的得分只比 GPT-6 Astra 低 0.32 分,而且原文提到两者 95% 置信区间存在重叠,统计上未必能明确区分高低。但 Sol 的单任务成本只有 0.11 美元,约为 Astra 的六分之一。换句话说,它用接近旗舰模型的得分,提供了显著更低的成本。
Fable 5.2 的问题则在于“贵”。它排名第三,得分 8.17,看起来不差,但单任务成本是 Sol 的 17 倍。对于一个需要长期潜伏在 Slack 中、持续监听并判断的 AI 同事来说,这种成本会被任务量迅速放大。
agent-">三、为什么贵 17 倍还输了?Agent 场景要看总成本
在普通聊天场景中,用户可能只关心单次回答质量。但在 Agent 场景中,成本会被高频调用放大。
可以用一个简化公式理解:
月成本 ≈ 月任务数 × 单任务成本 × 重试系数
如果一家 70 人公司每月大约有 2500 个需要 AI 判断或响应的任务:
- GPT-6.1 Sol:2500 × 0.11 ≈ 275 美元
- Fable 5.2:2500 × 1.87 ≈ 4675 美元
这与原文折算出的 281 美元和 4684 美元基本接近。也就是说,成本差距主要来自单任务价格,而不是任务数量。
在 Slack 监控这类场景中,模型往往需要读取较长上下文,包括频道历史、线程讨论、相关文档、工单记录和业务系统摘要。如果每次都把完整上下文塞给高价模型,成本会进一步上升。因此,企业不能只看模型单价,还要看上下文长度、工具调用次数、重试率和任务成功率。
在正式接入前,可以通过词元所模型服务对比不同模型的调用成本与性能表现,建立自己的预算模型,避免只凭榜单分数做决策。
四、企业选型:不要只选“最强模型”,要做分层路由
对于企业来说,更合理的做法不是让所有任务都调用最贵模型,而是按任务风险、复杂度和实时性进行分层。
可以按以下四步落地:
任务分层
- 高频低风险:常见问题、信息摘要、会议纪要、简单检索。
- 中风险任务:数据分析、流程解释、工单初筛。
- 高风险任务:安全审查、合规判断、跨部门协调、对外回复。
建立内部评测集
不要直接照搬公开榜单。企业应抽取 50~200 条真实任务,覆盖高频场景和典型失败案例,进行盲评。设置成本上限
为每类任务设置单任务成本上限、月度预算和告警阈值。例如,低风险任务优先使用低成本模型,高风险任务再升级到旗舰模型。灰度发布与回滚
先让 AI 在只读或建议模式下运行,观察采纳率、误报率和用户反馈,再逐步开放更高权限。
一个简化的多模型路由逻辑如下:
# 伪代码:按任务风险与复杂度选择模型def choose_model(task):if task["risk"] == "high":return "flagship_model"if task["type"] in ["faq", "summary", "extract"]:return "cost_effective_model"return "balanced_model"def run_agent_task(task):model = choose_model(task)response = llm_gateway.chat(model=model,messages=task["messages"])return response
在实际工程中,企业通常不会为每个模型单独写一套调用逻辑,而是通过统一 API 或模型网关进行管理。这样可以统一处理鉴权、限流、日志、成本核算和失败重试。对于需要同时接入多家模型服务的团队,可以借助大模型API服务平台了解多模型统一接入与调用管理能力,降低集成复杂度。
五、落地建议:让 AI 同事“少打扰、做对事”
如果企业真的要让 AI 进入 Slack、企业微信、飞书或内部工单系统,建议重点做好以下几件事:
- 权限最小化 :AI 默认只读,不自动删除、不自动对外发送。
- 动作分级 :普通回答可直接执行,高风险动作必须人工确认。
- 上下文压缩 :通过摘要、检索增强、缓存和分段读取降低 token 消耗。
- 沉默机制 :允许模型判断“无需回复”,避免刷屏和打扰。
- 监控指标 :关注采纳率、误报率、漏报率、平均响应时间、单任务成本。
- 速度指标 :实时协作场景要关注延迟。原文提到 Sonnet 5.5 约 15 秒、Opus 5.5 约 29 秒,是全场较快的模型,适合对响应速度敏感的任务。
总体来看,这次评测给出的信号很明确:AI 同事的价值不取决于模型是否“最聪明”,而取决于它是否能在正确时间、以正确方式、用合理成本完成正确动作。企业在选型时,应把榜单分数作为参考,把内部任务评测、成本测算和权限治理作为决策核心。

登录后可评论,请前往 登录 或 注册