logo

从华为小艺看终端AI Agent的落地要点

作者:很菜不狗2026.11.17 03:30浏览量:0

简介:本文以华为小艺为例,梳理终端AI Agent从聊天走向任务执行的关键能力,包括工具调用、本地知识检索、隐私权限控制和模型选型。文章还给出RAG检索流程与统一API路由的设计思路,并提醒读者用实测数据验证效果,帮助开发者和企业少走弯路。

手机正在成为AI Agent的重要入口。大模型竞争的重点,正从回答得好不好,转向能否把事情做完。

agent">一、终端为什么适合做Agent

手机有几项天然条件。用户随身携带,使用频率高。相册、文件、日程和聊天记录等数据,可以作为个性化服务的基础。手机操作系统还能调用应用和处理文件,让AI从“说”走向“做”。

因此,终端厂商布局AI Agent,关键在于模型能否进入系统层,并获得调用能力的授权。在手机里多加一个聊天窗口,帮助有限。

二、从问答到任务执行

很多AI助手停留在问答层面。用户提问,模型给出文字回答,任务就结束了。任务型Agent需要做四件事:理解目标,拆解步骤,调用工具,整合结果并交付。

以“找出上个月关于汽车芯片的资料,并写一份摘要”为例。助手要先定位文件,再读取内容,最后归纳重点。每一步都依赖工具能力,文字表达能力只是其中一环。

从目前可见的功能方向看,华为小艺强调系统级入口、本地文件处理和跨应用协作。这些方向说明,厂商希望把对话转成可执行的操作。具体能力会因系统版本、应用授权和地区而有差异。评估时应以实际测试和版本说明为准,不宜只看宣传描述。

三、隐私与权限是底线

Agent要访问文件、相册和应用,就必须回答一个问题:数据如何被保护。终端场景下,常见做法包括:

  • 敏感数据尽量在本地处理;
  • 每次调用系统能力前做权限校验;
  • 上传云端的数据先脱敏或做最小化处理;
  • 用户可以查看、撤回和删除授权;
  • 关键操作保留审计日志。

这些要求同样适用于企业场景。无论是手机助手还是企业知识库问答,权限边界、操作记录和合规要求都是上线前提。

四、任务型Agent的架构

把终端Agent拆成几层,可以参考下面的结构。

层级 核心能力 典型作用 需要注意
感知层 语音、视觉、屏幕内容、传感器 获取用户输入和环境信息 采集范围要最小化
理解层 意图识别、多轮对话、上下文理解 判断用户真正的目标 存在歧义时主动确认
规划层 任务拆解、工具选择、流程编排 把目标拆成可执行步骤 步骤数和循环次数要设上限
执行层 系统接口、应用调用、文件操作 完成具体动作 高风险操作需用户确认
记忆层 个人知识库、向量检索、长期记忆 保存偏好和历史资料 支持保留期限和删除
安全层 权限控制、脱敏、审计 保证数据可控 记录越权尝试

规划层和记忆层最能决定Agent能否从“会聊天”走向“能办事”。

五、工具调用的基本流程

Agent需要把工具注册到统一的目录中,每个工具都要声明名称、参数和权限要求。下面是一个简化示例,省略了超时和重试等细节:

  1. def run_agent(user_input, user_scope):
  2. plan = planner.make_plan(user_input)
  3. context = []
  4. for step in plan.steps[:MAX_STEPS]:
  5. tool = tool_registry.get(step.tool_name)
  6. if tool is None:
  7. return fallback_answer("未找到可用工具,请换个说法再试")
  8. if not permission.check(user_scope, tool.permission):
  9. audit.log("permission_denied", step.tool_name)
  10. return fallback_answer("当前授权不足,无法完成该操作")
  11. if tool.high_risk and not user_confirm(step):
  12. return fallback_answer("操作已取消")
  13. try:
  14. result = tool.call(step.parameters)
  15. except ToolError as e:
  16. audit.log("tool_error", str(e))
  17. return fallback_answer("部分步骤失败,已返回已完成的结果")
  18. context.append(result)
  19. return generator.answer(user_input, context)

这段代码有三个要点:步骤数有上限,每次调用前检查权限,失败时有明确的兜底输出。实际系统还需要超时控制、重试策略和日志脱敏。

rag-">六、用RAG解决“找不到文件”的问题

资料多、分类杂,是个人和企业都会遇到的问题。同一份“汽车芯片”资料,可能被放在交通运输目录,也可能被放在半导体目录。按路径查找,很难覆盖这种跨类目的情况。

检索增强生成(RAG)可以缓解这个问题。它按内容检索,不要求用户记住文件位置。典型流程如下:

  1. 文件扫描:遍历本地或企业网盘中的Word、PDF、Excel、PPT等文件。
  2. 内容解析:提取正文、表格、标题和元数据。
  3. 文本分块:把长文档切成适合检索的片段,并保留来源位置。
  4. 向量化:把文本块转换为向量。
  5. 建立索引:同时支持关键词检索和语义检索。
  6. 查询理解:识别问题中的实体、时间和范围。
  7. 混合召回:结合关键词、向量、目录和标签取回候选结果。
  8. 重排序:按相关性对候选结果排序。
  9. 生成答案:基于检索结果回答,并附上来源。
  1. def search_knowledge(query, top_k=20):
  2. keywords = extract_keywords(query)
  3. vector = embedding_model.encode(query)
  4. candidates = hybrid_search(keywords, vector, top_k=top_k)
  5. if not candidates:
  6. return "没有找到相关资料,请确认文件是否已经建立索引"
  7. ranked = reranker.rank(query, candidates)
  8. return llm.generate(build_prompt(query, ranked[:5]))

检索失败时,系统要明确告知用户,而不是让模型凭空作答。答案应标注来源文件和段落,方便用户核对。

七、模型选型要按任务环节拆开看

Agent包含多个环节,不同环节对模型的要求不同。选型时可以逐项对照:

  • 意图识别:通常对时延敏感,轻量模型或规则方法即可;
  • 复杂规划:需要较强的推理能力;
  • 长文档总结:需要足够的上下文窗口;
  • 图片、音频、视频:需要多模态能力;
  • 高频简单任务:可以交给小模型或规则引擎处理。

选型结论应以自己的测试集为准。建议用真实业务问题做对比,记录准确率、首响时延和单次调用成本,再决定接入方案。

八、统一接入与模型路由

多模型接入时,不同厂商的接口格式、鉴权方式和参数结构往往不一致。如果每个模型单独适配,维护成本会快速上升。常见做法是在业务层加一个统一接口,由它负责鉴权、参数转换、限流和日志记录。

路由规则可以这样设计:

  1. 简单问答 -> 轻量模型
  2. 复杂分析 -> 强推理模型
  3. 长文档总结 -> 长上下文模型
  4. 图片识别 -> 多模态模型
  5. 高并发、低价值任务 -> 成本优先模型

路由规则需要定期复盘。模型价格、效果和可用性都会变化,固定规则很快会过时。降级策略也要提前设计。主模型超时或报错时,系统应自动切换到备用模型,并记录切换原因。

九、企业落地应关注的指标

演示效果好,不代表能稳定上线。建议为下列指标写清定义、采样方式和目标区间:

  • 任务成功率:用户目标是否真正完成,按人工抽检计算;
  • 首响时延:从提交请求到看到第一段输出的时间;
  • 单次任务成本:一次完整任务消耗的Token和算力;
  • 检索准确率:召回的前几条资料中,相关资料所占的比例;
  • 引用可追溯率:答案中带有有效来源的比例;
  • 越权拦截率:未授权访问被拦下的比例;
  • 留存率:用户在一定周期内重复使用的比例。

目标值应结合业务

发表评论

活动