logo

第二代设备端模型:能力边界与端云路由设计

作者:da吃一鲸8862026.11.17 03:28浏览量:1

简介:本文梳理第二代设备端模型的听写、语义理解、语音输出和屏幕感知能力,说明端侧与云端的分工逻辑。文中给出端云路由的设计思路、降级策略和常见坑,并演示如何用端侧命中率估算云端成本。读完后,你能判断哪些功能适合放在本地,哪些应交给云端。

先看结论

第二代设备端模型扩大了端侧能力,覆盖听写、自然语言理解、语音输出和屏幕内容感知。它不能替代云端大模型。开发者需要决定每类请求在哪一端执行,并为云端降级做好准备。

原始资料称,苹果在 WWDC26 上推出第二代设备端模型,并由 Gemini 提供技术支持。这些信息需要对照苹果官方发布材料核实,本文的分析以此为前提。

一、四类能力分别适合什么

能力 端侧优势 典型场景 需要核实的点
听写 延迟低,可离线,语音不必上传 语音输入、会议转写、无障碍输入 支持的语言、离线资源大小
自然语言理解 意图识别、分类、摘要可在本地完成 快捷指令、通知排序、表单填充 可处理的文本长度上限
语音输出 合成延迟低,适合实时播报 导航提示、朗读内容 可用音色与语言
屏幕感知 可以读取当前屏幕上下文 跨应用操作、屏幕问答 读取屏幕内容的权限与授权方式

这四类能力有相同的特征:上下文短,调用频繁,对延迟和隐私都敏感。端侧模型擅长理解眼前这一屏内容和这一句话。它不适合回答需要大量外部知识的问题。

二、端云分工的三个判断维度

判断一个请求应该走哪一端,通常看三点。

  1. 任务复杂度。单句改写适合端侧,多步推理和长文分析适合云端。
  2. 上下文长度。屏幕内容加上对话历史超出端侧窗口时,需要压缩后再处理,或者转交云端。
  3. 隐私等级。健康、财务、私人通信类内容优先留在设备上。

苹果公开材料强调端侧处理与隐私保护设计。具体哪些数据会离开设备、在什么条件下发生,应以官方文档和安全说明为准。模型运行在端侧,不等于所有数据都不出设备。开发者要通过自己的架构设计和数据流审查来确认这一点。

隐私等级划分可以参考下面的方式:

  • 健康、财务、私人通信:端侧优先。不能上云时,直接返回本地结果,或请求用户确认。
  • 公开网页内容、通用知识问答:可以上云。
  • 含个人信息但可以脱敏的文本:先脱敏,再上云。

三、端云路由的代码结构

下面的代码只是架构示意,不能直接运行。真实接入时,需要确认系统版本、模型可用性接口、权限申请方式、错误码和超时策略。

  1. // 架构示意,不可直接运行
  2. func handle(_ request: Request) async -> Response {
  3. // 1. 探测端侧能力:系统版本、模型是否就绪、设备状态
  4. let localReady = await onDeviceModel.isAvailable
  5. let fitsLocal = request.estimatedTokens < onDeviceModel.contextLimit
  6. let mayLeaveDevice = request.privacyLevel != .localOnly
  7. // 2. 端侧不可用或超出能力范围时,按隐私等级决定是否上云
  8. guard localReady, fitsLocal else {
  9. guard mayLeaveDevice else { return .unavailableLocally }
  10. return await cloudModel.invoke(request, timeout: .seconds(8))
  11. }
  12. // 3. 端侧执行,资源紧张时再降级
  13. do {
  14. return try await onDeviceModel.run(request)
  15. } catch OnDeviceError.overloaded {
  16. guard mayLeaveDevice else { return .busy }
  17. return await cloudModel.invoke(request, timeout: .seconds(8))
  18. }
  19. }

落地前可以按下面的清单检查:

  • 设备型号和系统版本是否满足要求。
  • 模型是否已下载,设备是否处于低电量或低内存状态。
  • 请求的 Token 数是否低于端侧上限。
  • 隐私等级是否允许上云。
  • 超时阈值和重试次数是否已经设定。
  • 端侧与云端是否使用同一套输出结构。

开发时还要注意三个常见问题。

  • 不要假设端侧一定可用。设备、系统版本和资源状态都会影响可用性,必须在运行时探测。
  • 端侧和云端的输出格式要统一。否则降级后,界面层要维护两套解析逻辑。
  • 延迟预算要分开计算。端侧一般在毫秒到百毫秒级,云端一般在百毫秒到秒级。交互设计,比如加载状态和流式输出,需要按路径分别处理。

四、成本怎么估算

端侧推理不按次计费,云端推理按 Token 计费。因此云端成本可以近似为:

云端月成本 ≈ 月请求量 × (1 − 端侧命中率) × 单次云端调用成本

单次云端调用成本 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价

这个公式有几个前提。它只统计按 Token 计费的推理费用,不包含固定费用、缓存、重试和网络失败。它也假设请求分布在两次估算之间保持稳定。

下面用一组假设数据演示计算。假设输入单价为每百万 Token 2 元,输出单价为每百万 Token 8 元。

项目 方案 A 方案 B
月请求量 100,000 100,000
端侧命中率 60% 70%
云端请求数 40,000 30,000
平均输入 Token 800 800
平均输出 Token 300 300
单次云端成本 0.004 元 0.004 元
月云端成本 160 元 120 元

端侧命中率从 60% 提高到 70%,每月的云端请求减少 10,000 次,云端账单从 160 元降到 120 元,下降了 25%。命中率每提高 10 个百分点,云端请求数减少 10 个百分点,但账单的相对降幅取决于原来的云端占比。原来云端占比越高,同样的命中率提升带来的降幅越大。

需要云端兜底时,选型要比较三件事:模型能力是否匹配任务,上下文窗口是否够用,单位 Token 成本是否在预算内。最可靠的方法是用同一组测试样本跑所有候选模型,记录准确率、延迟和费用。百度智能云词元所汇集了模型能力、价格对比和统一 API 接入信息,可以作为对比入口之一。最终选型仍以自己的测试结果为准。

五、常见误区

  • 误区一:端侧模型可以完全替代云端。端侧受内存、功耗和散热限制,长文档分析和复杂多步推理仍需要云端。
  • 误区二:引入第三方基座就等于放弃隐私。决定数据是否离开设备的,是应用的架构和系统设计。模型来自哪里,并不直接决定这一点。
  • 误区三:端侧推理一定更快。端侧与其他应用争用同一份 CPU、GPU 和内存资源。多个 AI 功能同时运行时,速度可能变慢,需要自行做任务队列和优先级控制。

六、落地顺序

建议按下面的顺序推进:

  1. 列出应用中所有 AI 功能,并

发表评论

活动