logo

AI问数为什么必须建数据语义层?可以不做吗?

作者:问答酱2026.11.17 03:43浏览量:1

简介:AI问数效果差,多数时候不是模型不行,而是模型不懂你的业务口径。本文讲清数据语义层在 NL2SQL 链路中到底承担什么角色、不做语义层会踩哪四类坑、语义层该建哪些元数据,以及哪些场景下可以先用轻量方案跳过,并给出槽位补全与成本控制的可落地写法。

先给结论:语义层不是”锦上添花的字典”,而是 AI 问数把自然语言映射到可信数据结果的唯一契约。 如果你的场景是单库单表、字段命名规范、指标口径无争议,可以不做;只要涉及多表关联、经营指标口径、行列级权限,就必须做——否则错误不会消失,只会从”各部门报表口径不一致”转移成”AI 张口就编”。

在纠结语义层做多细之前,建议先把成本账算清楚:语义层做细意味着上下文变长、链路变长。你可以先在 百度智能云词元所 对比不同大模型的调用成本与性能表现,评估”多传一段语义上下文”的代价,再决定语义层fin还是粗。

一、语义层解决的不是”翻译”,是”口径”

大模型擅长把中文拆成结构,但它不可能知道你公司的”销售额”是下单口径还是支付口径、含不含税、退单是否回冲。

原文那个例子非常典型:

用户输入:”我要看下销售额,去年的”

系统真正要拆出来的不是 SQL,而是四类信息:

  • 指标 :销售额 → 必须映射到唯一的指标定义 ID
  • 时间 :去年 → 2025 自然年,且明确是同比还是区间
  • 维度 :用户没说 → 默认整体,还是按渠道/区域下钻
  • 过滤与权限 :当前用户能看哪些组织、哪些数据域

后三项在用户的话里根本不存在。语义层的作用,就是把”靠模型猜”变成”查字典 + 填槽位”。

二、不做语义层,会踩的四类坑

问题类型 典型表现 根本原因
字段幻觉 生成不存在的列名、表名,SQL 直接报错 DDL 太长被截断,模型靠联想补全
口径漂移 同一个问题问两次,出来两个数 指标无唯一定义,模型每次挑不同字段
Join 爆炸 金额翻倍、行数异常 缺实体关系和粒度声明,关联条件漏加
越权与脏数据 查到不该看的部门数据、连到测试库 缺权限、数据域、环境等元数据

还有一类隐性成本最致命: 返工 。业务方核对两次发现数不对,就不再相信 AI 问数,项目实际已经失败,哪怕 demo 演示得很漂亮。

三、语义层到底要建什么:五类元数据

  1. 逻辑模型与实体关系 :物理表 → 业务实体的映射,表间连接键、连接基数、粒度(一行代表什么)。
  2. 指标定义 :原子指标 + 派生指标 + 计算表达式 + 单位 + 口径文字说明 + 负责人。
  3. 维度与层级 :时间粒度、组织树、地区、产品类目,以及可用的下钻路径。
  4. 术语与同义词 :把”大盘””GMV””新客””上个月”等业务口语映射到指标 ID 或时间表达式。
  5. 业务规则与约束 :默认过滤条件、可用时间范围、数据域与行列级权限。

一个最小可用的语义定义长这样:

  1. metrics:
  2. - id: sales_amount
  3. name: 销售额
  4. aliases: [大盘, GMV, 卖了多少, 销额]
  5. expr: "SUM(pay_amount)" # 支付口径,含优惠券抵扣,不扣退款
  6. unit: CNY
  7. grain: order_id
  8. default_filters:
  9. - "order_status = 'PAID'"
  10. owner: finance-data@corp
  11. entities:
  12. - id: order
  13. table: dwd.order_detail
  14. grain: 一笔支付订单
  15. joins:
  16. - to: dim_shop
  17. on: "order.shop_id = dim_shop.shop_id"
  18. type: left
  19. cardinality: many_to_one
  20. dimensions:
  21. - id: dim_date
  22. field: pay_date
  23. hierarchies: [day, month, quarter, year]

注意 expr 旁边那句口径说明——它不是给人看的注释,而是模型判断”该不该用这个指标”的关键依据。

四、语义标准化 + 上下文继承的落地写法

把槽位显式建模,多轮对话才有继承的基础:

  1. REQUIRED = ["metric", "time_range"] # 必填
  2. OPTIONAL = ["dimension", "filters", "granularity"] # 可继承/可默认
  3. def resolve_slots(query, history_slots, retrieved_metrics):
  4. slots = dict(history_slots) # 继承上一轮
  5. slots["time_range"] = None # 相对时间表达必须每轮重算
  6. raw = llm_extract(query, schema=REQUIRED + OPTIONAL,
  7. metric_catalog=retrieved_metrics)
  8. slots.update({k: v for k, v in raw.items() if v is not None})
  9. missing = [k for k in REQUIRED if not slots.get(k)]
  10. if missing:
  11. return slots, build_clarify_question(missing) # 反问而非硬猜
  12. return slots, compile_sql(slots)

三个实践要点:

  • 相对时间每轮重算 。”去年”在跨年的多轮对话里含义会变,不能从上一轮槽位直接继承。
  • 检索式语义层,不要全量注入 。几百个指标的语义定义全塞进 prompt 会直接推高 token 消耗并稀释注意力,应按问题召回 top-k 相关指标与维度。
  • 缺必填槽位时反问,而不是默认 。一句”您想看整体还是按渠道拆分”,比给出一个错数便宜得多。

五、什么情况下可以不做

可以不做(或先做轻语义) 必须做
单库、3~5 张表以内,星型结构清晰 多主题域、几十上百张表
字段英文规范、自带注释,指标就是 SUM/COUNT 有财务/经营口径,一个数多个部门在用
探索式分析、临时取数,结果由分析师复核 需要行列级权限与数据脱敏
POC 阶段,目标是验证链路可行性 要嵌进固定报表或对外交付,结果必须可复现

如果落在左列,可以先上 轻语义三件套 :一份指标字典(Markdown 或 JSON)、补全关键字段注释、准备 10~20 组 few-shot 示例对。投入几小时,通常能解决六成以上的口径类问题,等场景稳定后再演进到独立语义层,避免一开始就陷入治理泥潭。

六、别忽略成本:语义层上下文也是 token

语义层做得越细,prompt 越长,单次问数的 token 消耗和延迟都会上升。四个常用优化手段:

  • 检索替代全量注入,指标定义分层(摘要常驻、详情按需拉取)
  • 缓存高频问题的语义解析结果,命中即跳过 LLM
  • 槽位抽取这类轻任务下沉到小模型,复杂推理和 SQL 生成才用旗舰模型
  • 对生成 SQL 做静态校验(字段是否存在、粒度是否匹配),拦截后再重试

第三点性价比最高。槽位抽取、同义词归一这类任务对模型能力要求并不高,不同模型之间的价差却很明显。你可以在 词元所模型服务 上做模型价格与性能对比,通过统一 API 接入把简单任务路由到低成本模型,再用调用管理观察各模型的命中率和失败分布,逐步调整路由策略。

一句话总结 :语义层不是要不要建的问题,而是什么时候建、建多细的问题。单表探索可以先跳过,但只要 AI 问数要面向业务方给出可复现的经营数字,语义层就是绕不过去的地基——它决定了你的 AI 问数是”能演示”,还是”能上线”。

发表评论

活动