logo

token信息量度量服务部署与验证指南

作者:demo2026.11.18 11:27浏览量:0

简介:本文说明如何部署一个旁路运行的token信息量度量服务。文章给出基于参考语言模型的计算公式、配置项、接口格式和上线验收标准,帮助读者复现服务,并判断评分能否用于提示词压缩与成本分析。

一、服务定位与适用边界

本服务为每个token计算一个数值,用来描述它在上下文中的可预测程度。计算方式来自信息论中的自信息(surprisal):某个token越难被语言模型预测,它携带的信息量越大。服务输出的是这种统计意义上的信息量,不是语义重要性,也不是回答质量的直接评价。

服务不访问线上推理模型的内部状态。它自带一个参考语言模型(reference model),对输入文本重新计算概率。因此,参考模型与线上模型的差异会直接影响结果。如果线上模型是闭源模型,本服务给出的只是近似值。

适用场景包括:历史日志的批量统计、Prompt 中低信息密度片段的筛查、同一问题在不同参数下输出的对比。服务不应直接用于自动删除 Prompt 内容,删除前需要人工复核。

二、计算方法

对于第 i 个token x_i,其信息量定义为:

Ii = -log2 P(x_i | x<i)

其中 P(xi | x<i) 是参考模型在前序token条件下给出的概率,单位为 bit。句首token的前序上下文为 BOS 标记。

为控制计算开销,服务采用滑动窗口。窗口长度为 window_size 个token,默认值 512。当文本长度超过窗口时,每个token只参考其前面最近的 window_size - 1 个token。窗口越长,结果越稳定,但单次计算耗时越高。

概率下限用于避免出现无穷大分数。当 P 小于 prob_floor 时,统一取 prob_floor 计算,默认值为 1e-6。该参数会限制最高分数,调大它会压低极端token的分数。

文本级汇总有两种方式。mean 方式输出所有token分数的算术平均值,单位为 bit/token,适合比较不同长度文本。sum 方式输出总和,适合估算一段文本的总信息量,但长文本会天然得分更高,不适合直接横向比较。

三、环境准备

建议使用受支持的 Linux 发行版,例如 Ubuntu 22.04 LTS 或 Debian 12。CentOS 7 已停止维护,不建议用于新部署。

运行环境需要 Python 3.10 及以上版本,PyTorch 与 transformers 的版本必须固定在 requirements.txt 中。参考模型的权重文件需要事先下载,并计算 SHA256 校验值写入 SHA256SUMS 文件。服务启动后会在健康检查中返回该校验值,用于判断各副本是否加载了同一个模型。

以下资源规格为起始值,上线前需要按第七节的压测结果调整。

  • 仅 CPU 运行,参考模型约 0.5B 参数:4 核 CPU,8GB 内存,30GB 磁盘。
  • 使用 GPU 运行:1 张显存不少于 8GB 的 GPU,主机 16GB 内存。
  • 高并发场景:多副本部署,前置负载均衡器。每个副本独立加载模型,不共享内存中的缓存。

四、目录与配置

服务目录规划如下:

  • /opt/info-metric/conf:配置文件
  • /opt/info-metric/models:参考模型权重与 SHA256SUMS
  • /opt/info-metric/data:测试语料与缓存文件
  • /opt/info-metric/logs:运行日志
  • /opt/info-metric/releases:历史版本,保留最近两个版本用于回滚

主配置文件 config.yaml 示例如下:

  1. service:
  2. host: 10.0.0.12
  3. port: 8090
  4. reference_model:
  5. path: /opt/info-metric/models/ref-model
  6. dtype: float16
  7. scoring:
  8. window_size: 512
  9. prob_floor: 1e-6
  10. normalize: mean
  11. bos_token: true
  12. limits:
  13. timeout_ms: 2000
  14. rate_limit_rps: 50
  15. database:
  16. host: 10.0.0.20
  17. name: infometric
  18. user: infometric_app
  19. cache:
  20. url: redis://10.0.0.21:6379/0

数据库密码和缓存口令不写入配置文件,改为从环境变量 INFO_METRIC_DB_PASSWORD 和 INFO_METRIC_CACHE_PASSWORD 读取。

timeout_ms 的取值依据是:在 512 token 输入、单副本、目标并发下,端到端 P95 延迟不超过 1.5 秒,并保留 0.5 秒余量。该数值需要在自己的环境中重新压测确认,不能直接套用。

五、部署步骤

第一步,创建专用系统用户:

  1. sudo useradd --system --home /opt/info-metric --shell /usr/sbin/nologin info-metric

第二步,校验参考模型文件:

  1. cd /opt/info-metric/models && sha256sum -c SHA256SUMS

所有文件显示 OK 才能继续。

第三步,创建虚拟环境并安装固定版本依赖:

  1. python3 -m venv /opt/info-metric/venv
  2. /opt/info-metric/venv/bin/pip install -r /opt/info-metric/releases/current/requirements.txt

第四步,运行自检脚本:

  1. /opt/info-metric/venv/bin/python -m infometric.selfcheck \
  2. --config /opt/info-metric/conf/config.yaml \
  3. --fixtures /opt/info-metric/data/fixtures/sentences.jsonl

脚本会对固定语料逐条计算分数,并输出每条文本的 token 列表、分数和 mean 值。输出末尾应显示 selfcheck passed。若脚本报错,先检查模型路径和 dtype 设置,不要修改自检脚本本身。

第五步,注册 systemd 服务:

  1. [Unit]
  2. Description=token information metric service
  3. After=network-online.target
  4. [Service]
  5. User=info-metric
  6. Environment=INFO_METRIC_DB_PASSWORD_FILE=/opt/info-metric/conf/db.secret
  7. ExecStart=/opt/info-metric/venv/bin/python -m infometric.server --config /opt/info-metric/conf/config.yaml
  8. Restart=on-failure
  9. [Install]
  10. WantedBy=multi-user.target

保存为 /etc/systemd/system/info-metric.service 后执行:

  1. sudo systemctl daemon-reload
  2. sudo systemctl enable --now info-metric

第六步,本机健康检查:

  1. curl -i http://10.0.0.12:8090/healthz

正常返回 HTTP 200,响应体示例如下(字段值为示例):

  1. {"status":"ok","model_sha256":"<与SHA256SUMS中一致的值>","tokenizer":"ref-model-v1","window_size":512}

健康检查通过后,再开放内网访问。服务端口只允许内网网段和负载均衡器访问,不直接暴露公网。

六、接口定义

单条评分接口为 POST /v1/score,请求体示例:

  1. {"request_id":"req-20261118-0001","mode":"realtime","text":"明天太阳从西方升起"}

响应体示例(数值为示意,不代表真实输出):

  1. {
  2. "request_id": "req-20261118-0001",
  3. "model_sha256": "<模型校验值>",
  4. "unit": "bit",
  5. "tokens": [
  6. {"text": "明天", "score": 3.1},
  7. {"text": "太阳", "score": 2.4},
  8. {"text": "西方", "score": 6.8}
  9. ],
  10. "mean_score": 4.1,
  11. "cache_hit": false
  12. }

批量接口为 POST /v1/score/batch,请求体包含 items 数组,单次最多 200 条。批量任务需要附带 job_id,便于后续按任务归档。

错误码约定如下:400 表示输入为空或格式错误;413 表示文本超过 4096 个token;429 表示超过 rate_limit_rps;504 表示超过 timeout_ms。

缓存键由以下字段拼接后计算 SHA256:model_sha256、window_size、normalize、bos_token 和 token id 序列。加入模型校验值后,模型升级不会读到旧版本的缓存结果。

缓存服务不可用时,服务退化为全量计算,并在响应头中返回 X-Cache: BYPASS。此时延迟会上升,需要在监控中单独统计。

结果表的建表语句(MySQL 8.0 及以上):

  1. CREATE TABLE token_score_record (
  2. id BIGINT PRIMARY KEY AUTO_INCREMENT,
  3. request_id VARCHAR(64) NOT NULL,
  4. job_id VARCHAR(64) NULL,
  5. model_sha256 CHAR(64) NOT NULL,
  6. token_ids JSON NOT NULL,
  7. token_scores JSON NOT NULL,
  8. mean_score DECIMAL(8,4) NOT NULL,
  9. latency_ms INT NOT NULL,
  10. created_at DATETIME NOT NULL,
  11. INDEX idx_request (request_id),
  12. INDEX idx_created (created_at)
  13. );

七、上线验证

功能验证使用三组语料。

第一组为正常业务文本,约 200 句新闻或客服对话。验证项是服务返回 200,且所有分数为有限数值,不出现 NaN 或 inf。同时记录分数的 P10、P50、P90,作为后续版本对比的基线。

第二组为高重复文本,取一个 20 个token 左右的句子重复 10 次。检查

发表评论

活动