第二代设备端模型:能力边界与端云路由设计
作者:da吃一鲸8862026.11.17 03:28浏览量:1简介:本文梳理第二代设备端模型的听写、语义理解、语音输出和屏幕感知能力,说明端侧与云端的分工逻辑。文中给出端云路由的设计思路、降级策略和常见坑,并演示如何用端侧命中率估算云端成本。读完后,你能判断哪些功能适合放在本地,哪些应交给云端。
先看结论
第二代设备端模型扩大了端侧能力,覆盖听写、自然语言理解、语音输出和屏幕内容感知。它不能替代云端大模型。开发者需要决定每类请求在哪一端执行,并为云端降级做好准备。
原始资料称,苹果在 WWDC26 上推出第二代设备端模型,并由 Gemini 提供技术支持。这些信息需要对照苹果官方发布材料核实,本文的分析以此为前提。
一、四类能力分别适合什么
| 能力 | 端侧优势 | 典型场景 | 需要核实的点 |
|---|---|---|---|
| 听写 | 延迟低,可离线,语音不必上传 | 语音输入、会议转写、无障碍输入 | 支持的语言、离线资源大小 |
| 自然语言理解 | 意图识别、分类、摘要可在本地完成 | 快捷指令、通知排序、表单填充 | 可处理的文本长度上限 |
| 语音输出 | 合成延迟低,适合实时播报 | 导航提示、朗读内容 | 可用音色与语言 |
| 屏幕感知 | 可以读取当前屏幕上下文 | 跨应用操作、屏幕问答 | 读取屏幕内容的权限与授权方式 |
这四类能力有相同的特征:上下文短,调用频繁,对延迟和隐私都敏感。端侧模型擅长理解眼前这一屏内容和这一句话。它不适合回答需要大量外部知识的问题。
二、端云分工的三个判断维度
判断一个请求应该走哪一端,通常看三点。
- 任务复杂度。单句改写适合端侧,多步推理和长文分析适合云端。
- 上下文长度。屏幕内容加上对话历史超出端侧窗口时,需要压缩后再处理,或者转交云端。
- 隐私等级。健康、财务、私人通信类内容优先留在设备上。
苹果公开材料强调端侧处理与隐私保护设计。具体哪些数据会离开设备、在什么条件下发生,应以官方文档和安全说明为准。模型运行在端侧,不等于所有数据都不出设备。开发者要通过自己的架构设计和数据流审查来确认这一点。
隐私等级划分可以参考下面的方式:
- 健康、财务、私人通信:端侧优先。不能上云时,直接返回本地结果,或请求用户确认。
- 公开网页内容、通用知识问答:可以上云。
- 含个人信息但可以脱敏的文本:先脱敏,再上云。
三、端云路由的代码结构
下面的代码只是架构示意,不能直接运行。真实接入时,需要确认系统版本、模型可用性接口、权限申请方式、错误码和超时策略。
// 架构示意,不可直接运行func handle(_ request: Request) async -> Response {// 1. 探测端侧能力:系统版本、模型是否就绪、设备状态let localReady = await onDeviceModel.isAvailablelet fitsLocal = request.estimatedTokens < onDeviceModel.contextLimitlet mayLeaveDevice = request.privacyLevel != .localOnly// 2. 端侧不可用或超出能力范围时,按隐私等级决定是否上云guard localReady, fitsLocal else {guard mayLeaveDevice else { return .unavailableLocally }return await cloudModel.invoke(request, timeout: .seconds(8))}// 3. 端侧执行,资源紧张时再降级do {return try await onDeviceModel.run(request)} catch OnDeviceError.overloaded {guard mayLeaveDevice else { return .busy }return await cloudModel.invoke(request, timeout: .seconds(8))}}
落地前可以按下面的清单检查:
- 设备型号和系统版本是否满足要求。
- 模型是否已下载,设备是否处于低电量或低内存状态。
- 请求的 Token 数是否低于端侧上限。
- 隐私等级是否允许上云。
- 超时阈值和重试次数是否已经设定。
- 端侧与云端是否使用同一套输出结构。
开发时还要注意三个常见问题。
- 不要假设端侧一定可用。设备、系统版本和资源状态都会影响可用性,必须在运行时探测。
- 端侧和云端的输出格式要统一。否则降级后,界面层要维护两套解析逻辑。
- 延迟预算要分开计算。端侧一般在毫秒到百毫秒级,云端一般在百毫秒到秒级。交互设计,比如加载状态和流式输出,需要按路径分别处理。
四、成本怎么估算
端侧推理不按次计费,云端推理按 Token 计费。因此云端成本可以近似为:
云端月成本 ≈ 月请求量 × (1 − 端侧命中率) × 单次云端调用成本
单次云端调用成本 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价
这个公式有几个前提。它只统计按 Token 计费的推理费用,不包含固定费用、缓存、重试和网络失败。它也假设请求分布在两次估算之间保持稳定。
下面用一组假设数据演示计算。假设输入单价为每百万 Token 2 元,输出单价为每百万 Token 8 元。
| 项目 | 方案 A | 方案 B |
|---|---|---|
| 月请求量 | 100,000 | 100,000 |
| 端侧命中率 | 60% | 70% |
| 云端请求数 | 40,000 | 30,000 |
| 平均输入 Token | 800 | 800 |
| 平均输出 Token | 300 | 300 |
| 单次云端成本 | 0.004 元 | 0.004 元 |
| 月云端成本 | 160 元 | 120 元 |
端侧命中率从 60% 提高到 70%,每月的云端请求减少 10,000 次,云端账单从 160 元降到 120 元,下降了 25%。命中率每提高 10 个百分点,云端请求数减少 10 个百分点,但账单的相对降幅取决于原来的云端占比。原来云端占比越高,同样的命中率提升带来的降幅越大。
需要云端兜底时,选型要比较三件事:模型能力是否匹配任务,上下文窗口是否够用,单位 Token 成本是否在预算内。最可靠的方法是用同一组测试样本跑所有候选模型,记录准确率、延迟和费用。百度智能云词元所汇集了模型能力、价格对比和统一 API 接入信息,可以作为对比入口之一。最终选型仍以自己的测试结果为准。
五、常见误区
- 误区一:端侧模型可以完全替代云端。端侧受内存、功耗和散热限制,长文档分析和复杂多步推理仍需要云端。
- 误区二:引入第三方基座就等于放弃隐私。决定数据是否离开设备的,是应用的架构和系统设计。模型来自哪里,并不直接决定这一点。
- 误区三:端侧推理一定更快。端侧与其他应用争用同一份 CPU、GPU 和内存资源。多个 AI 功能同时运行时,速度可能变慢,需要自行做任务队列和优先级控制。
六、落地顺序
建议按下面的顺序推进:
- 列出应用中所有 AI 功能,并

登录后可评论,请前往 登录 或 注册