logo

华为小艺终端智能体架构与开发实践指南

作者:狼烟四起2026.11.17 03:31浏览量:0

简介:本文从华为小艺的演进切入,拆解终端智能体的五层技术栈、意图路由、工具编排与端云协同成本。面向开发者给出可运行代码、模型选型检查表与常见错误,帮助快速落地稳定、可控、低成本的终端智能体。

一、小艺的三级跳:终端智能体为何成为竞争焦点

小艺是华为打造的系统级 AI 助手,也是终端设备 AI 能力的核心入口。作为国产手机品牌中较早推出的智慧语音助手,它的能力边界经历了三次明显扩张。华为宣称其为行业首发搭载大模型的系统级助手;但无论厂商如何表述,产品演进逻辑都高度一致:终端助手正在从“语音遥控器”走向“系统级任务执行框架”。

  • 第一阶段:能听会答。 语音识别、语义解析和预置技能槽位组成“命令—响应”链路,用户需要记住标准说法。
  • 第二阶段:能理解会生成。 引入多模态交互能力后,视觉、听觉、触觉等信号可以混合表达同一个意图。
  • 第三阶段:能规划会调度。 由总控智能体完成意图理解、任务拆解和子智能体分派,再汇总执行结果反馈给用户。

这意味着,判断终端智能体是否成熟,关键不在于它能回答多少问题,而在于能否把一句模糊的自然语言,稳定转换成一条可执行、可回滚、可审计的动作序列。

二、五层技术栈:终端智能体应该怎么拆?

无论小艺还是其他厂商的系统级助手,架构上都可以拆成五层:

层级 职责 关键技术
感知层 采集语音、图像、屏幕内容、位置与传感器信号 ASR、OCR、屏幕理解、多模态编码
理解层 把多模态输入归一为结构化意图 大模型语义解析、指代消解、上下文补全
规划层 任务拆解、依赖排序、失败重试 Plan-and-Execute、ReAct、多智能体编排
执行层 调用系统 API 或跨应用完成动作 Function Call、Intent 框架、无障碍服务
记忆层 保存用户偏好与历史交互 多轮对话记忆、长期画像、向量检索

其中,记忆层最容易被低估。实时语音交互场景通常会默认保留十余轮历史对话,让模型持续跟进话题、把握上下文语境并理解隐含意思。终端助手要真正做到“接着上次的话说”,靠的就是这一层。

三、多智能体调度:意图路由、工具编排与可运行示例

多智能体不等于堆更多模型,而是 分工 + 路由。工程上通常这样落地:

  1. 用一份工具清单描述每个智能体的能力边界;
  2. 由总控模型输出结构化调用指令;
  3. 执行器解析指令、调用对应能力,并把结果回填给模型;
  4. 模型基于结果决定继续调用,还是给出最终答复。

以下示例给出完整可运行的最小闭环。为了在本地验证,示例先用 mock 客户端模拟模型返回;生产环境只需将 client 替换为真实 OpenAI 兼容客户端,并填入真实模型名。

  1. import json
  2. from types import SimpleNamespace
  3. from typing import Any, Callable, Optional
  4. # 1. 工具执行器:占位实现,生产环境替换为真实系统 API / 检索服务
  5. def system_control(action: str, target: str, value: Optional[str] = None) -> dict[str, Any]:
  6. """执行系统动作。高风险动作必须进入二次确认流程。"""
  7. allowed = {"open_app", "set_bluetooth", "set_brightness", "open_payment", "delete_file", "send_message"}
  8. if action not in allowed:
  9. raise ValueError(f"不支持的 action: {action}")
  10. if action in {"open_payment", "delete_file", "send_message"}:
  11. return {"ok": False, "need_confirmation": True, "message": "该动作属于高风险操作,需要用户确认后执行。"}
  12. return {"ok": True, "action": action, "target": target, "value": value}
  13. def knowledge_search(query: str, top_k: int = 3) -> dict[str, Any]:
  14. """执行知识检索。占位实现,生产环境替换为真实检索服务。"""
  15. if not isinstance(query, str) or not query.strip():
  16. raise ValueError("query 不能为空")
  17. top_k = max(1, min(int(top_k), 5))
  18. return {"ok": True, "results": [{"doc": f"doc-{i}", "text": f"{query} 的示例结果 {i}"} for i in range(top_k)]}
  19. DISPATCHER: dict[str, Callable[..., dict[str, Any]]] = {
  20. "system_control": system_control,
  21. "knowledge_search": knowledge_search,
  22. }
  23. ALLOWED_TOOL_NAMES = set(DISPATCHER.keys())
  24. # 2. 工具分发与失败重试
  25. def dispatch_with_retry(name: str, args: dict[str, Any], max_retry: int = 2) -> dict[str, Any]:
  26. if name not in ALLOWED_TOOL_NAMES:
  27. return {"ok": False, "error": "不允许调用该工具"}
  28. handler = DISPATCHER[name]
  29. last_error = ""
  30. for _ in range(max_retry + 1):
  31. try:
  32. return handler(**args)
  33. except Exception as e:
  34. last_error = f"{type(e).__name__}: {e}"
  35. return {"ok": False, "error": last_error or "工具调用失败"}
  36. # 3. 工具清单:描述能力边界与参数格式
  37. tools = [
  38. {
  39. "type": "function",
  40. "function": {
  41. "name": "system_control",
  42. "description": "控制系统设置与应用,如打开蓝牙、调高亮度;高风险动作需用户确认。",
  43. "parameters": {
  44. "type": "object",
  45. "properties": {
  46. "action": {"type": "string", "enum": ["open_app", "set_bluetooth", "set_brightness", "open_payment", "delete_file", "send_message"]},
  47. "target": {"type": "string"},
  48. "value": {"type": "string"},
  49. },
  50. "required": ["action", "target"],
  51. },
  52. },
  53. },
  54. {
  55. "type": "function",
  56. "function": {
  57. "name": "knowledge_search",
  58. "description": "检索外部知识或用户文档,回答事实性问题。",
  59. "parameters": {
  60. "type": "object",
  61. "properties": {"query": {"type": "string"}, "top_k": {"type": "integer"}},
  62. "required": ["query"],
  63. },
  64. },
  65. },
  66. ]
  67. # 4. 本地 mock 客户端:仅用于演示;生产环境替换为真实 OpenAI 兼容客户端
  68. class MockCompletions:
  69. def create(self, model: str, messages: list, tools: list, tool_choice: str):
  70. # 第一次返回工具调用,第二次返回最终答复
  71. if any(m.get("role") == "tool" for m in messages):
  72. return SimpleNamespace(choices=[SimpleNamespace(message=SimpleNamespace(content="已把亮度调到 30%,并返回后续信息。", tool_calls=[]))])
  73. call = SimpleNamespace(
  74. id="call-1",
  75. function=SimpleNamespace(
  76. name="system_control",
  77. arguments=json.dumps({"action": "set_brightness", "target": "screen", "value": "30"}, ensure_ascii=False),
  78. ),
  79. )
  80. return SimpleNamespace(choices=[SimpleNamespace(message=SimpleNamespace(content="", tool_calls=[call]))])
  81. class MockClient:
  82. def __init__(self):
  83. self.chat = SimpleNamespace(completions=MockCompletions())
  84. client = MockClient()
  85. MODEL = "mock-model"
  86. # 5. 多轮调度循环
  87. messages = [{"role": "user", "content": "把亮度调到 30%,再帮我查一下明天的限行尾号"}]
  88. while True:
  89. try:
  90. resp = client.chat.completions.create(
  91. model=MODEL,
  92. messages=messages,
  93. tools=tools,
  94. tool_choice="auto",
  95. )
  96. msg = resp.choices[0].message
  97. messages.append(msg)
  98. if not getattr(msg, "tool_calls", None):
  99. print(msg.content)
  100. break
  101. for call in msg.tool_calls:
  102. name = call.function.name
  103. args = json.loads(call.function.arguments)
  104. # 入参白名单:只允许预期字段,避免模型返回额外字段造成越权
  105. if name == "system_control":
  106. args = {k: args.get(k) for k in ("action", "target", "value") if k in args}
  107. if "action" not in args or "target" not in args:
  108. result = {"ok": False, "error": "缺少 action 或 target"}
  109. else:
  110. result = dispatch_with_retry(name, args)
  111. elif name == "knowledge_search":
  112. args = {k: args.get(k) for k in ("query", "top_k") if k in args}
  113. result = dispatch_with_retry(name, args)
  114. else:
  115. result = {"ok": False, "error": "未知工具"}
  116. if isinstance(result, dict) and result.get("need_confirmation"):
  117. result["message"] = "请用户确认后再执行。"
  118. messages.append({
  119. "role": "tool",
  120. "tool_call_id": call.id,
  121. "content": json.dumps(result, ensure_ascii=False),
  122. })
  123. except Exception as e:
  124. print(f"调度失败:{e}")
  125. break

这段示例包含三个关键工程点:

  • 模型名与协议要真实化。 生产环境需把 MODEL 替换为真实模型名,把 client 替换为真实 OpenAI 兼容客户端,并确保消息与工具结果符合兼容格式。
  • 高风险动作必须确认。 对支付、删除、发送等动作,执行器不能只依赖模型判断,必须返回待确认状态,由前端或系统层触发二次确认。
  • 失败要有兜底。 当工具失败、检索置信度低或模型输出异常时,应返回预设话术或引导用户重试,而不是让幻觉直接进入执行链路。

四、端云协同:成本、延迟与隐私怎么平衡

终端智能体几乎必然采用端云协同架构,分工逻辑大致如下:

维度 端侧小模型 云端大模型
延迟 毫秒级,无网络依赖 受网络与排队影响
隐私 数据不出设备 需脱敏与合规处理
能力上限 受算力与内存约束 复杂推理、长上下文更强
成本模型 一次性硬件成本 按 Token 用量计费

唤醒词识别、简单指令解析、OCR 等高频低复杂度任务更适合放在端侧;复杂规划、长文档理解、多轮推理则更适合走云端。对于隐私要求更高的场景,也可以将模型以容器化方式部署到本地服务器或专有网络环境,实现业务网络公私分离。

终端智能体的成本不能只看单次 Token 价格。更合理的测算口径是:

  1. 总费用 ≈ Σ(输入 token 数 × 输入单价 + 输出 token 数 × 输出单价) + 工具服务费用
  2. 总延迟 ≈ 端侧处理时间 + 网络耗时 + 云端首 token 时间 + 工具执行时间 + 重试时间

由于模型规格、上下文长度、工具轮数、并发量和网络条件不同,不能将某个案例直接视为普适数值。开发时更应关注两个控成本抓手:

  • 上下文裁剪策略。 只保留完成当前任务所需的历史对话、工具返回摘要和必要系统提示。
  • 模型分级路由。 简单意图用小模型,复杂规划用旗舰模型;同时根据置信度、风险等级和 token 预算动态调整。

五、开发者复刻路径:先选型,再接入,后调优

想做出类似小艺的能力,第一步不是急着写 Agent 框架,而是把模型这一层选对、接顺。更稳妥的做法是:先选择支持 OpenAI 兼容协议或具备统一接入能力的模型服务,再用配置驱动的方式完成多模型集成。

  1. # 说明:client 与 tools 沿用上一节示例;生产环境替换为真实 OpenAI 兼容客户端。
  2. ROUTER = {
  3. "chitchat": {"model": "light-model", "max_tokens": 256},
  4. "system_act": {"model": "function-model", "max_tokens": 512, "tools": tools},
  5. "deep_plan": {"model": "flagship-model", "max_tokens": 2048, "tools": tools},
  6. }
  7. def route(intent_type: str, messages: list):
  8. cfg = ROUTER.get(intent_type)
  9. if not cfg:
  10. raise ValueError(f"未知意图类型:{intent_type}")
  11. try:
  12. return client.chat.completions.create(
  13. model=cfg["model"],
  14. messages=messages,
  15. max_tokens=cfg["max_tokens"],
  16. tools=cfg.get("tools"),
  17. )
  18. except Exception as e:
  19. return {"error": f"模型调用失败:{e}"}

这里的重点不是某一家平台,而是建立一套可替换、可监控、可调参的路由机制。上线后应持续观察每类意图的实际 Token 消耗、工具调用成功率、平均工具轮数和用户确认率,再回头调整路由阈值。

开发者复刻检查表

  1. 选型维度。 看意图识别准确率、工具参数生成准确率、延迟、上下文长度、价格、私有化能力和合规要求。
  2. 接入步骤。 固定 API 协议;建立模型清单;配置密钥;封装统一调用层;接入日志与监控。
  3. 路由阈值。 根据置信度、任务复杂度、风险等级和 token 预算决定是否切换模型。
  4. 兜底机制。 对低置信度、工具失败、超时和异常输入,预设安全话术或降级路径。
  5. 安全边界。 对支付、删除、发送等动作强制二次确认,并记录操作日志。

常见错误

  • 只关注问答能力,忽视执行成功率;
  • 工具参数不做白名单校验;
  • 没有工具失败重试与兜底话术;
  • 所有任务都路由到旗舰模型,导致成本失控;
  • 高风险动作缺少用户确认;
  • 上下文无限累积,Token 成本随轮数快速膨胀。

六、常见问题:终端智能体是什么、怎么选、要注意什么?

终端智能体是什么?

终端智能体不只是语音助手。它能理解用户目标,把任务拆解成步骤,调用系统能力或外部工具,并在执行后给出反馈。它的核心指标是任务完成率,而不是单轮问答准确率。

终端智能体怎么选模型?

建议按任务分层选择:高频简单任务用轻量模型;系统操作类任务优先选择工具调用稳定、参数格式可靠的模型;复杂规划任务使用能力更强的旗舰模型。选型时要同时评估延迟、成本、上下文长度、隐私合规和失败恢复能力。

开发终端智能体要注意什么?

第一,工具调用必须有参数校验和失败重试;第二,高风险动作必须二次确认;第三,需要上下文裁剪和模型分级路由来控制成本;第四,知识问答要保留来源,系统操作要保留日志;第五,先做小闭环,再逐步扩展多智能体编排。

七、趋势判断与落地建议

终端智能体的演进会沿着四条主线推进:

  1. 入口从 App 转向系统层。 用户不再打开某个应用完成任务,而是描述目标,由系统级智能体跨应用编排。
  2. 交互从单模态转向全模态。 视觉、听觉、触觉融合后,“指一下这个”会成为合法输入,屏幕理解会取代大量显式指令。
  3. 协议标准化决定生态上限。 工具调用、跨应用跳转、设备能力暴露都需要统一协议,否则每个厂商都要重复造胶水层。
  4. 可信与可控成为落地门槛。 涉及支付、删除、发送等高风险动作时,必须有确认机制、操作日志和范围限制。

对开发者来说,落地终端智能体不必一开始就追求大而全。更现实的路径是:先做一条最小闭环,例如“一个系统动作 + 一个检索能力 + 一个确认机制 + 一个兜底策略”,验证链路稳定后,再逐步加入记忆层、多智能体编排和模型路由。先把模型选型、统一接入和安全边界打牢,后续扩展才会更稳。

发表评论

活动