token信息量度量服务部署与验证指南
作者:demo2026.11.18 11:27浏览量:0简介:本文说明如何部署一个旁路运行的token信息量度量服务。文章给出基于参考语言模型的计算公式、配置项、接口格式和上线验收标准,帮助读者复现服务,并判断评分能否用于提示词压缩与成本分析。
一、服务定位与适用边界
本服务为每个token计算一个数值,用来描述它在上下文中的可预测程度。计算方式来自信息论中的自信息(surprisal):某个token越难被语言模型预测,它携带的信息量越大。服务输出的是这种统计意义上的信息量,不是语义重要性,也不是回答质量的直接评价。
服务不访问线上推理模型的内部状态。它自带一个参考语言模型(reference model),对输入文本重新计算概率。因此,参考模型与线上模型的差异会直接影响结果。如果线上模型是闭源模型,本服务给出的只是近似值。
适用场景包括:历史日志的批量统计、Prompt 中低信息密度片段的筛查、同一问题在不同参数下输出的对比。服务不应直接用于自动删除 Prompt 内容,删除前需要人工复核。
二、计算方法
对于第 i 个token x_i,其信息量定义为:
Ii = -log2 P(x_i | x<i)
其中 P(xi | x<i) 是参考模型在前序token条件下给出的概率,单位为 bit。句首token的前序上下文为 BOS 标记。
为控制计算开销,服务采用滑动窗口。窗口长度为 window_size 个token,默认值 512。当文本长度超过窗口时,每个token只参考其前面最近的 window_size - 1 个token。窗口越长,结果越稳定,但单次计算耗时越高。
概率下限用于避免出现无穷大分数。当 P 小于 prob_floor 时,统一取 prob_floor 计算,默认值为 1e-6。该参数会限制最高分数,调大它会压低极端token的分数。
文本级汇总有两种方式。mean 方式输出所有token分数的算术平均值,单位为 bit/token,适合比较不同长度文本。sum 方式输出总和,适合估算一段文本的总信息量,但长文本会天然得分更高,不适合直接横向比较。
三、环境准备
建议使用受支持的 Linux 发行版,例如 Ubuntu 22.04 LTS 或 Debian 12。CentOS 7 已停止维护,不建议用于新部署。
运行环境需要 Python 3.10 及以上版本,PyTorch 与 transformers 的版本必须固定在 requirements.txt 中。参考模型的权重文件需要事先下载,并计算 SHA256 校验值写入 SHA256SUMS 文件。服务启动后会在健康检查中返回该校验值,用于判断各副本是否加载了同一个模型。
以下资源规格为起始值,上线前需要按第七节的压测结果调整。
- 仅 CPU 运行,参考模型约 0.5B 参数:4 核 CPU,8GB 内存,30GB 磁盘。
- 使用 GPU 运行:1 张显存不少于 8GB 的 GPU,主机 16GB 内存。
- 高并发场景:多副本部署,前置负载均衡器。每个副本独立加载模型,不共享内存中的缓存。
四、目录与配置
服务目录规划如下:
- /opt/info-metric/conf:配置文件
- /opt/info-metric/models:参考模型权重与 SHA256SUMS
- /opt/info-metric/data:测试语料与缓存文件
- /opt/info-metric/logs:运行日志
- /opt/info-metric/releases:历史版本,保留最近两个版本用于回滚
主配置文件 config.yaml 示例如下:
service:host: 10.0.0.12port: 8090reference_model:path: /opt/info-metric/models/ref-modeldtype: float16scoring:window_size: 512prob_floor: 1e-6normalize: meanbos_token: truelimits:timeout_ms: 2000rate_limit_rps: 50database:host: 10.0.0.20name: infometricuser: infometric_appcache:url: redis://10.0.0.21:6379/0
数据库密码和缓存口令不写入配置文件,改为从环境变量 INFO_METRIC_DB_PASSWORD 和 INFO_METRIC_CACHE_PASSWORD 读取。
timeout_ms 的取值依据是:在 512 token 输入、单副本、目标并发下,端到端 P95 延迟不超过 1.5 秒,并保留 0.5 秒余量。该数值需要在自己的环境中重新压测确认,不能直接套用。
五、部署步骤
第一步,创建专用系统用户:
sudo useradd --system --home /opt/info-metric --shell /usr/sbin/nologin info-metric
第二步,校验参考模型文件:
cd /opt/info-metric/models && sha256sum -c SHA256SUMS
所有文件显示 OK 才能继续。
第三步,创建虚拟环境并安装固定版本依赖:
python3 -m venv /opt/info-metric/venv/opt/info-metric/venv/bin/pip install -r /opt/info-metric/releases/current/requirements.txt
第四步,运行自检脚本:
/opt/info-metric/venv/bin/python -m infometric.selfcheck \--config /opt/info-metric/conf/config.yaml \--fixtures /opt/info-metric/data/fixtures/sentences.jsonl
脚本会对固定语料逐条计算分数,并输出每条文本的 token 列表、分数和 mean 值。输出末尾应显示 selfcheck passed。若脚本报错,先检查模型路径和 dtype 设置,不要修改自检脚本本身。
第五步,注册 systemd 服务:
[Unit]Description=token information metric serviceAfter=network-online.target[Service]User=info-metricEnvironment=INFO_METRIC_DB_PASSWORD_FILE=/opt/info-metric/conf/db.secretExecStart=/opt/info-metric/venv/bin/python -m infometric.server --config /opt/info-metric/conf/config.yamlRestart=on-failure[Install]WantedBy=multi-user.target
保存为 /etc/systemd/system/info-metric.service 后执行:
sudo systemctl daemon-reloadsudo systemctl enable --now info-metric
第六步,本机健康检查:
curl -i http://10.0.0.12:8090/healthz
正常返回 HTTP 200,响应体示例如下(字段值为示例):
{"status":"ok","model_sha256":"<与SHA256SUMS中一致的值>","tokenizer":"ref-model-v1","window_size":512}
健康检查通过后,再开放内网访问。服务端口只允许内网网段和负载均衡器访问,不直接暴露公网。
六、接口定义
单条评分接口为 POST /v1/score,请求体示例:
{"request_id":"req-20261118-0001","mode":"realtime","text":"明天太阳从西方升起"}
响应体示例(数值为示意,不代表真实输出):
{"request_id": "req-20261118-0001","model_sha256": "<模型校验值>","unit": "bit","tokens": [{"text": "明天", "score": 3.1},{"text": "太阳", "score": 2.4},{"text": "西方", "score": 6.8}],"mean_score": 4.1,"cache_hit": false}
批量接口为 POST /v1/score/batch,请求体包含 items 数组,单次最多 200 条。批量任务需要附带 job_id,便于后续按任务归档。
错误码约定如下:400 表示输入为空或格式错误;413 表示文本超过 4096 个token;429 表示超过 rate_limit_rps;504 表示超过 timeout_ms。
缓存键由以下字段拼接后计算 SHA256:model_sha256、window_size、normalize、bos_token 和 token id 序列。加入模型校验值后,模型升级不会读到旧版本的缓存结果。
缓存服务不可用时,服务退化为全量计算,并在响应头中返回 X-Cache: BYPASS。此时延迟会上升,需要在监控中单独统计。
结果表的建表语句(MySQL 8.0 及以上):
CREATE TABLE token_score_record (id BIGINT PRIMARY KEY AUTO_INCREMENT,request_id VARCHAR(64) NOT NULL,job_id VARCHAR(64) NULL,model_sha256 CHAR(64) NOT NULL,token_ids JSON NOT NULL,token_scores JSON NOT NULL,mean_score DECIMAL(8,4) NOT NULL,latency_ms INT NOT NULL,created_at DATETIME NOT NULL,INDEX idx_request (request_id),INDEX idx_created (created_at));
七、上线验证
功能验证使用三组语料。
第一组为正常业务文本,约 200 句新闻或客服对话。验证项是服务返回 200,且所有分数为有限数值,不出现 NaN 或 inf。同时记录分数的 P10、P50、P90,作为后续版本对比的基线。
第二组为高重复文本,取一个 20 个token 左右的句子重复 10 次。检查

登录后可评论,请前往 登录 或 注册