从华为小艺看终端AI Agent的落地要点
作者:很菜不狗2026.11.17 03:30浏览量:0简介:本文以华为小艺为例,梳理终端AI Agent从聊天走向任务执行的关键能力,包括工具调用、本地知识检索、隐私权限控制和模型选型。文章还给出RAG检索流程与统一API路由的设计思路,并提醒读者用实测数据验证效果,帮助开发者和企业少走弯路。
手机正在成为AI Agent的重要入口。大模型竞争的重点,正从回答得好不好,转向能否把事情做完。
agent">一、终端为什么适合做Agent
手机有几项天然条件。用户随身携带,使用频率高。相册、文件、日程和聊天记录等数据,可以作为个性化服务的基础。手机操作系统还能调用应用和处理文件,让AI从“说”走向“做”。
因此,终端厂商布局AI Agent,关键在于模型能否进入系统层,并获得调用能力的授权。在手机里多加一个聊天窗口,帮助有限。
二、从问答到任务执行
很多AI助手停留在问答层面。用户提问,模型给出文字回答,任务就结束了。任务型Agent需要做四件事:理解目标,拆解步骤,调用工具,整合结果并交付。
以“找出上个月关于汽车芯片的资料,并写一份摘要”为例。助手要先定位文件,再读取内容,最后归纳重点。每一步都依赖工具能力,文字表达能力只是其中一环。
从目前可见的功能方向看,华为小艺强调系统级入口、本地文件处理和跨应用协作。这些方向说明,厂商希望把对话转成可执行的操作。具体能力会因系统版本、应用授权和地区而有差异。评估时应以实际测试和版本说明为准,不宜只看宣传描述。
三、隐私与权限是底线
Agent要访问文件、相册和应用,就必须回答一个问题:数据如何被保护。终端场景下,常见做法包括:
- 敏感数据尽量在本地处理;
- 每次调用系统能力前做权限校验;
- 上传云端的数据先脱敏或做最小化处理;
- 用户可以查看、撤回和删除授权;
- 关键操作保留审计日志。
这些要求同样适用于企业场景。无论是手机助手还是企业知识库问答,权限边界、操作记录和合规要求都是上线前提。
四、任务型Agent的架构
把终端Agent拆成几层,可以参考下面的结构。
| 层级 | 核心能力 | 典型作用 | 需要注意 |
|---|---|---|---|
| 感知层 | 语音、视觉、屏幕内容、传感器 | 获取用户输入和环境信息 | 采集范围要最小化 |
| 理解层 | 意图识别、多轮对话、上下文理解 | 判断用户真正的目标 | 存在歧义时主动确认 |
| 规划层 | 任务拆解、工具选择、流程编排 | 把目标拆成可执行步骤 | 步骤数和循环次数要设上限 |
| 执行层 | 系统接口、应用调用、文件操作 | 完成具体动作 | 高风险操作需用户确认 |
| 记忆层 | 个人知识库、向量检索、长期记忆 | 保存偏好和历史资料 | 支持保留期限和删除 |
| 安全层 | 权限控制、脱敏、审计 | 保证数据可控 | 记录越权尝试 |
规划层和记忆层最能决定Agent能否从“会聊天”走向“能办事”。
五、工具调用的基本流程
Agent需要把工具注册到统一的目录中,每个工具都要声明名称、参数和权限要求。下面是一个简化示例,省略了超时和重试等细节:
def run_agent(user_input, user_scope):plan = planner.make_plan(user_input)context = []for step in plan.steps[:MAX_STEPS]:tool = tool_registry.get(step.tool_name)if tool is None:return fallback_answer("未找到可用工具,请换个说法再试")if not permission.check(user_scope, tool.permission):audit.log("permission_denied", step.tool_name)return fallback_answer("当前授权不足,无法完成该操作")if tool.high_risk and not user_confirm(step):return fallback_answer("操作已取消")try:result = tool.call(step.parameters)except ToolError as e:audit.log("tool_error", str(e))return fallback_answer("部分步骤失败,已返回已完成的结果")context.append(result)return generator.answer(user_input, context)
这段代码有三个要点:步骤数有上限,每次调用前检查权限,失败时有明确的兜底输出。实际系统还需要超时控制、重试策略和日志脱敏。
rag-">六、用RAG解决“找不到文件”的问题
资料多、分类杂,是个人和企业都会遇到的问题。同一份“汽车芯片”资料,可能被放在交通运输目录,也可能被放在半导体目录。按路径查找,很难覆盖这种跨类目的情况。
检索增强生成(RAG)可以缓解这个问题。它按内容检索,不要求用户记住文件位置。典型流程如下:
- 文件扫描:遍历本地或企业网盘中的Word、PDF、Excel、PPT等文件。
- 内容解析:提取正文、表格、标题和元数据。
- 文本分块:把长文档切成适合检索的片段,并保留来源位置。
- 向量化:把文本块转换为向量。
- 建立索引:同时支持关键词检索和语义检索。
- 查询理解:识别问题中的实体、时间和范围。
- 混合召回:结合关键词、向量、目录和标签取回候选结果。
- 重排序:按相关性对候选结果排序。
- 生成答案:基于检索结果回答,并附上来源。
def search_knowledge(query, top_k=20):keywords = extract_keywords(query)vector = embedding_model.encode(query)candidates = hybrid_search(keywords, vector, top_k=top_k)if not candidates:return "没有找到相关资料,请确认文件是否已经建立索引"ranked = reranker.rank(query, candidates)return llm.generate(build_prompt(query, ranked[:5]))
检索失败时,系统要明确告知用户,而不是让模型凭空作答。答案应标注来源文件和段落,方便用户核对。
七、模型选型要按任务环节拆开看
Agent包含多个环节,不同环节对模型的要求不同。选型时可以逐项对照:
- 意图识别:通常对时延敏感,轻量模型或规则方法即可;
- 复杂规划:需要较强的推理能力;
- 长文档总结:需要足够的上下文窗口;
- 图片、音频、视频:需要多模态能力;
- 高频简单任务:可以交给小模型或规则引擎处理。
选型结论应以自己的测试集为准。建议用真实业务问题做对比,记录准确率、首响时延和单次调用成本,再决定接入方案。
八、统一接入与模型路由
多模型接入时,不同厂商的接口格式、鉴权方式和参数结构往往不一致。如果每个模型单独适配,维护成本会快速上升。常见做法是在业务层加一个统一接口,由它负责鉴权、参数转换、限流和日志记录。
路由规则可以这样设计:
简单问答 -> 轻量模型复杂分析 -> 强推理模型长文档总结 -> 长上下文模型图片识别 -> 多模态模型高并发、低价值任务 -> 成本优先模型
路由规则需要定期复盘。模型价格、效果和可用性都会变化,固定规则很快会过时。降级策略也要提前设计。主模型超时或报错时,系统应自动切换到备用模型,并记录切换原因。
九、企业落地应关注的指标
演示效果好,不代表能稳定上线。建议为下列指标写清定义、采样方式和目标区间:
- 任务成功率:用户目标是否真正完成,按人工抽检计算;
- 首响时延:从提交请求到看到第一段输出的时间;
- 单次任务成本:一次完整任务消耗的Token和算力;
- 检索准确率:召回的前几条资料中,相关资料所占的比例;
- 引用可追溯率:答案中带有有效来源的比例;
- 越权拦截率:未授权访问被拦下的比例;
- 留存率:用户在一定周期内重复使用的比例。
目标值应结合业务

登录后可评论,请前往 登录 或 注册