基于真实调用数据的AI用户行为分析教程

教程目标

本教程的目标是帮助读者基于“真实调用数据”完成一套可落地的AI用户行为分析方法，而不是停留在主观判断或官方案例层面。最终需要达成的效果包括：

1. 能看清不同场景消耗了多少Token，而不是只看调用次数。
2. 能识别哪些场景是真实高频需求，哪些只是低频尝鲜。
3. 能判断不同模型的成本、延迟、稳定性和用户留存之间的关系。
4. 能建立一套可复用的指标口径，用于模型选型、路由策略、成本控制和安全治理。
5. 能针对角色扮演、情感陪伴、成人向内容等“高消耗但非传统生产力”的场景建立合规、安全与成本边界。

适合读者包括：AI应用开发者、平台运维人员、技术负责人、模型网关运营人员、成本分析人员，以及需要从用户行为数据中反推产品方向的团队。

适用场景

该教程适用于多类典型场景：

• 企业需要搭建统一模型接入层，并希望了解真实业务调用分布。
• 开发者需要判断哪些模型适合进入生产环境，而不是只参考单价。
• 运维团队需要定位Token消耗异常、调用失败率升高、成本失控等问题。
• 产品团队需要识别用户真实使用意图，例如代码辅助、写作、翻译、角色扮演、情感陪伴等。
• 安全团队需要对敏感内容、成人向内容、未成年人保护相关调用进行治理。
• 技术负责人需要建立模型评测、灰度发布、降级熔断和成本预警机制。

需要注意：本教程不依赖任何特定厂商，但如果你使用百度智能云，可以结合对象存储、日志服务、监控告警、身份认证、负载均衡、数据库等通用云能力完成数据沉淀与观测。

前置准备

在开始之前，需要准备以下几类基础条件。

1. 可调用的模型接入层

你需要有一个统一的模型接入层，用来记录每一次调用。该层可以自建，也可以使用已有的API网关、模型网关或流量代理。核心要求不是品牌，而是能够记录完整调用链路。

建议至少具备以下能力：

• 统一鉴权与身份识别。
• 支持多个模型或供应商后端接入。
• 能记录请求时间、模型标识、Token数量、响应状态。
• 支持限流、重试、超时、熔断和降级。
• 支持按业务线、应用、用户群进行路由。

2. 日志采集字段

如果日志字段不完整，后续分析会失真。建议采集以下通用字段：

• request_id：请求唯一标识。
• timestamp：调用时间。
• app_id：业务应用或租户标识。
• user_group：用户分群，注意脱敏。
• model_name：模型名称或模型类别。
• model_type：闭源模型、开源模型、本地模型等。
• input_tokens：输入Token数。
• output_tokens：输出Token数。
• latency：响应延迟。
• status_code：成功、失败、限流、超时等状态。
• scenario_tag：业务场景标签。
• cost_estimate：估算成本。
• content_risk_level：内容风险等级。
• cache_hit：是否命中缓存。

3. 数据脱敏与合规策略

真实用户行为数据往往包含个人信息、业务敏感信息或不当内容。因此，在进入分析库之前必须完成脱敏。

通用原则：

• 不记录原始敏感对话正文，除非有合法合规授权。
• 对手机号、邮箱、身份证、地址等信息进行掩码。
• 对成人向内容只做分类统计，不保存可识别个人身份的完整内容。
• 对未成年人相关请求启用更高等级的安全过滤和访问控制。
• 分析账号必须具备最小权限，只能访问聚合指标而非明细数据。

核心概念与指标口径

在开始统计之前，必须先统一口径，否则不同团队看到的数据会不一致。

1. Token口径

Token是模型处理文本的基本计量单位。一个中文汉字、英文单词或标点，可能被切分为不同数量的Token。分析时建议区分：

• 输入Token：用户请求或上下文进入模型的部分。
• 输出Token：模型返回结果的部分。
• 总Token：输入Token加输出Token。

如果要衡量真实算力消耗，总Token比单纯调用次数更准确。

2. 调用次数口径

调用次数适合衡量用户活跃度和接口压力，但不能直接代表算力成本。例如，一次长文本总结可能只算一次调用，但消耗的Token远高于一次短问答。

3. 场景口径

场景标签是发现真实需求的关键。建议采用“业务意图 + 内容类型 + 模型用途”的组合方式。例如：

• 代码生成
• 代码解释
• 文档摘要
• 翻译
• 客服问答
• 营销文案
• 情感陪伴
• 角色扮演
• 成人向内容
• 教育辅导
• 数据分析

4. 模型类型口径

建议至少区分：

• 闭源商业模型
• 开源模型
• 本地部署模型
• 轻量模型
• 高质量模型

这样可以观察不同模型类型在成本、稳定性和用户接受度上的差异。

实施步骤

第一步：明确分析目标

首先要回答“分析这份数据到底是为了什么”。不同目标会导致不同的指标设计。

常见目标包括：

• 找出Token消耗最大的场景。
• 找出成本最高但价值最低的场景。
• 判断哪些模型真正被用户高频使用。
• 识别低价格模型是否真的带来长期留存。
• 发现敏感内容场景是否需要额外安全治理。
• 为模型路由策略提供数据依据。

如果没有明确目标，很容易变成只导出一张Token总量图，无法支撑决策。

建议先定义三个核心问题：

1. 用户最常做什么？
2. 哪些请求消耗最多算力？
3. 哪些模型在满足需求的同时保持了可接受成本和延迟？

第二步：标准化采集与清洗

采集完成后，需要进行清洗。清洗的目标不是让数据变漂亮，而是让统计可信。

常见清洗动作包括：

• 去除重复请求。例如用户连续重试、客户端重发、网关重复计数。
• 修正异常时间戳。例如未来时间、重复时间戳。
• 补全缺失模型标识。
• 修正Token异常值。例如输出Token超过模型最大长度。
• 合并模型别名。例如不同版本别名应归入同一模型类别。
• 标记无效请求。例如鉴权失败、参数错误、内容拦截。

清洗后建议保留原始请求ID和清洗规则版本，方便后续复核。

第三步：构建用户行为分析指标

建议至少建立以下指标。

1. Token消耗占比

公式：

某场景Token占比 = 某场景总Token / 全部场景总Token × 100%

该指标可以揭示真实算力分布。某些场景调用次数不高，但Token消耗极高，例如长文写作、角色扮演、代码库问答。

2. 调用次数占比

公式：

某场景调用次数占比 = 某场景调用次数 / 全部调用次数 × 100%

调用次数能反映用户访问频率，但不能单独作为成本依据。

3. 单请求平均Token

公式：

平均Token = 总Token / 总调用次数

该指标可以识别“重请求”。如果某些请求平均Token远高于其他请求，应重点优化上下文长度或缓存策略。

4. 用户渗透率

公式：

某场景用户数 / 活跃用户数 × 100%

该指标用于判断场景是否具备普遍性。

5. 留存代理指标

如果无法获取真实留存，可以用重复调用率作为代理指标：

某场景重复使用率 = 7日内再次使用该场景的用户数 / 首次使用该场景的用户数 × 100%

低留存但高消耗的场景，通常意味着用户尝鲜后快速流失。

6. 成本效率指标

公式：

单位有效输出成本 = 总估算成本 / 有效输出量

有效输出量可以根据场景定义，例如成功生成的代码片段、完成的摘要、满足审核的回答等。

第四步：对场景进行归类与打标

场景归类是整篇分析的核心。没有场景标签，Token数据只是数字。

1. 自动打标

可以通过规则、关键词分类或分类模型完成打标。但需要注意：

• 成人向内容不能只依赖关键词，容易误判。
• 角色扮演和情感陪伴类内容可能与普通写作高度重叠。
• 代码场景需要区分生成、解释、补全、测试等不同子类。

2. 人工抽检

对高Token、高风险或高成本场景进行人工抽检。建议抽样比例至少覆盖：

• Token消耗前10%的请求。
• 风险等级为高的请求。
• 成本异常突增的请求。
• 失败率较高的请求。

3. 场景分类示例

可参考以下分类：

• 生产力场景：代码、文档、数据分析、翻译。
• 娱乐场景：角色扮演、虚拟陪伴、故事生成。
• 敏感场景：成人向内容、擦边内容。
• 客户服务场景：客服问答、工单摘要。
• 教育场景：答疑、题目解析、学习陪伴。

通过分类可以发现：某些场景下调用次数不是最高，但Token消耗可能远高于传统生产力场景。

第五步：识别真实用户需求

完成指标计算后，需要形成用户画像。

1. 高消耗低留存场景

这类场景可能说明用户只是尝鲜，或者体验不稳定。需要检查：

• 响应延迟是否过长。
• 回答质量是否不稳定。
• 是否存在内容安全拦截。
• 是否有更便宜或更稳定的替代模型。

2. 低消耗高留存场景

这类场景通常具有长期价值。它们未必单次Token消耗高，但用户会持续回来。常见包括：

• 轻量问答
• 文本润色
• 翻译
• 摘要
• 代码补全

3. 高消耗高留存场景

这类场景是重点治理对象，因为它既消耗成本，又有真实需求。例如长文本创作、深度代码分析、复杂角色扮演等。建议通过模型路由、缓存、上下文压缩和分层计费优化。

4. 敏感内容场景

成人向、擦边、情感依赖类内容需要单独治理。治理原则包括：

• 明确平台边界。
• 加强内容审核。
• 限制未成年人访问。
• 不保存不必要的明细。
• 对高风险请求进行审计。
• 对异常高频行为进行限流。

第六步：建立模型选型与路由策略

分析数据不是为了做一张报表，而是为了支撑路由决策。

1. 不要只看价格

低价模型适合高频、简单、容错性强的任务，但不一定适合复杂任务。选型时应综合考虑：

• 单位Token成本。
• 输出质量。
• 延迟。
• 稳定性。
• 上下文长度。
• 内容安全能力。
• 是否支持开源部署。
• 是否存在供应商锁定风险。

2. 场景化路由

不同场景应使用不同模型组合。

通用伪代码示例：

if scenario == "code_generation":
    use high_quality_model
    enable context_compression
    set timeout = 60s
elif scenario == "summary":
    use cost_effective_model
    enable cache
    set max_output_tokens = 800
elif scenario == "roleplay":
    use medium_quality_model
    enable sensitive_filter
    enable rate_limit
elif scenario == "adult_sensitive":
    apply strict_content_policy
    reduce_log_retention
    require_audit_approval
else:
    use default_model

3. 主备模型策略

生产环境不建议只绑定单一模型。推荐采用：

• 主模型：质量和效果优先。
• 备模型：成本优先或稳定性优先。
• 降级模型：主模型超时或失败时使用。
• 轻量模型：用于简单分类、摘要、改写。

配置时需要明确超时、重试次数、熔断阈值和最大成本上限。

第七步：成本与稳定性治理

Token分析最终要落到成本治理。

1. 控制上下文长度

上下文越长，输入Token越高。可优化方式包括：

• 只保留必要历史对话。
• 对历史内容进行摘要。
• 去除重复上下文。
• 对代码片段进行截断或分段。
• 使用检索式知识注入替代全量上下文。

2. 使用缓存

对于高频且相对稳定的请求，可以引入缓存。但要注意：

• 缓存键应包含模型版本、提示词版本和关键参数。
• 对个性化内容谨慎缓存。
• 对敏感内容设置更短缓存周期或不缓存。
• 缓存命中后应记录，以便评估效果。

3. 限流与配额

建议按应用、用户组、场景设置配额。配额维度可以包括：

• 每分钟调用次数。
• 每日Token上限。
• 单用户成本上限。
• 单场景成本上限。
• 高风险场景独立额度。

4. 成本预警

当出现以下情况时应告警：

• Token消耗环比增长超过阈值。
• 某场景成本占比突然升高。
• 某模型失败率异常升高。
• 单请求Token超过预设上限。
• 缓存命中率明显下降。
• 敏感内容调用量异常增加。

第八步：安全合规与内容风险治理

用户行为数据中往往包含敏感内容，必须建立治理机制。

1. 内容风险分级

建议将内容风险分为：

• 低风险：普通问答、翻译、摘要。
• 中风险：情感陪伴、虚构角色对话。
• 高风险：成人向内容、暴力、自伤、违法信息、未成年人相关内容。

不同风险等级对应不同处理策略。

2. 高风险场景隔离

高风险场景应独立配置：

• 独立模型路由。
• 独立日志保留周期。
• 独立访问权限。
• 独立审计流程。
• 独立成本预算。

3. 最小必要原则

日志中不应保留不必要的原始内容。可保存：

• 分类结果。
• 风险等级。
• Token数量。
• 调用时间。
• 脱敏后的请求ID。

尽量避免保存完整敏感对话。

结果验证

分析体系搭建完成后，必须验证是否可信。

1. 数据完整性验证

检查：

• 日志字段缺失率是否可接受。
• 请求ID是否唯一。
• Token字段是否存在明显异常。
• 模型标识是否完整。
• 场景标签是否覆盖主要流量。

2. 指标一致性验证

随机抽取若干时间段，人工复核：

• Token总量是否与原始日志一致。
• 场景占比是否与业务预期一致。
• 成本估算是否与计费口径一致。
• 失败请求是否被正确排除或标记。

3. 路由策略验证

上线模型路由前，建议采用灰度方式：

• 先在小流量应用验证。
• 对比主模型与新路由的响应质量。
• 观察延迟、错误率、成本变化。
• 确认无异常后再扩大流量。

4. 告警验证

需要确认告警不是形同虚设。建议演练：

• 手动制造Token突增。
• 模拟模型超时。
• 模拟失败率升高。
• 模拟敏感内容命中。

观察告警是否能及时触发，以及是否能定位到具体应用、场景和模型。

常见问题与排查思路

1. Token消耗突然升高

可能原因：

• 新增高消耗场景。
• 上下文长度配置过大。
• 重试机制异常。
• 客户端重复请求。
• 模型输出长度失控。

排查步骤：

1. 查看Token消耗按场景分布。
2. 查看平均输入Token和输出Token。
3. 查看是否有重复request_id。
4. 查看是否有客户端重试激增。
5. 检查模型最大输出配置。

2. 调用次数下降但Token上升

说明请求变重，而不是用户流失。可能原因：

• 单请求上下文变长。
• 用户开始使用复杂任务。
• 模型输出长度增加。
• 重试导致长请求增加。

3. 低价模型看似便宜但成本更高

可能原因：

• 低价模型输出质量低，用户反复重试。
• 低价模型上下文处理差，需要更长提示词。
• 低价模型失败后切换到高价模型。
• 低价模型缓存命中率低。

解决方式：

• 统计总成功率，而不是单次单价。
• 计算完成任务所需总成本。
• 对比一次成功率。
• 引入任务级成本指标。

4. 场景标签不准

可能原因：

• 规则过宽。
• 关键词误判。
• 角色扮演与正常写作难以区分。
• 多意图请求被单一标签覆盖。

解决方式：

• 增加多标签机制。
• 对高风险场景引入人工抽检。
• 定期更新分类规则。
• 对高Token请求优先标注。

5. 敏感内容误拦或漏拦

可能原因：

• 过滤规则过于机械。
• 缺少上下文判断。
• 模型生成内容与拦截策略不匹配。

解决方式：

• 建立申诉和复核流程。
• 对误拦案例进行样本沉淀。
• 对高风险场景采用更严格策略。
• 保留必要的审计记录。

优化建议

1. 性能优化

• 对短请求使用轻量模型。
• 对长文本请求进行分段或摘要。
• 对高频稳定请求启用缓存。
• 对超时请求快速降级。
• 避免不必要的全量上下文注入。

2. 安全优化

• 高风险内容独立路由。
• 日志最小化保存。
• 敏感场景加强权限控制。
• 建立内容风险分级。
• 对未成年人相关请求启用更严格策略。

3. 稳定性优化

• 多模型备份。
• 超时熔断。
• 失败重试上限。
• 供应商故障时自动切换。
• 关键业务线设置独立配额。

4. 成本优化

• 按场景设置预算。
• 对高消耗场景做专项优化。
• 定期清理低效模型。
• 观察任务级成本，而非仅看单价。
• 将缓存命中率纳入成本看板。

5. 可维护性优化

• 指标口径文档化。
• 日志字段版本化。
• 路由规则配置化。
• 分析任务自动化。
• 定期复盘模型效果。

总结

本教程围绕“基于真实调用数据理解AI用户行为”展开，重点解决从数据到决策的闭环问题。关键步骤包括：统一调用日志口径、完成数据清洗与脱敏、构建场景标签、计算Token与成本指标、识别真实高频需求、建立模型路由策略、治理敏感场景，并通过验证与告警确保体系可持续运行。

对于技术团队而言，最重要的不是单纯看哪个模型便宜，而是看清真实用户到底在用模型做什么、哪些场景值得投入、哪些场景需要限制、哪些模型组合能在成本、质量和稳定性之间取得平衡。只有把真实调用数据转化为可执行的路由策略、安全策略和成本策略，才能让AI平台从“能用”走向“可运营、可治理、可持续优化”。