轻量模型绘图评测：可复现的盲评与公平对比方法

一、目标与边界

本文评测一个轻量模型在命令行环境中生成图形的能力。测试任务是让模型以文本形式画出一根香蕉，并把结果打印到终端或保存为文件。原始案例还让一个参数规模更大的模型完成同一任务，两者结果都展示在终端中。

读完本文，你可以完成三件事：把“画得好不好”拆成可观察、可打分的指标；设计公平的对比实验，避免把生成方式的差异误判为模型能力的差异；判断小样本结论能支撑什么，不能支撑什么。

结论先说：单个香蕉样例只能说明模型在这个任务上的表现。它不能推断模型在代码生成、长文本理解或高并发服务中的可靠性。

适合的读者包括三类。开发者需要判断模型能否支撑终端工具、脚本生成或文本可视化功能。架构师与技术负责人需要权衡效果、成本和响应速度。测试与运维人员需要建立可重复的验证流程，并持续跟踪结果变化。

二、实验配置

复现实验前，先固定以下信息。缺少任何一项，结果都无法和他人对比。

项目	记录内容	示例（请替换为实际值）
模型名称与版本	完整模型标识和版本号	<model-name>@<version>
采样参数	temperature、top_p、max_tokens	temperature=0，top_p=1，max_tokens=2048
提示词原文	完整文本，不做删改	见下文提示词模板
运行命令	调用脚本或命令行	python run_eval.py --task banana --n 10
终端环境	系统、终端宽度、字符编码	Linux，终端宽 80 列，UTF-8
重复次数 N	每个任务独立运行的次数	N=10
生成路径	直接输出或生成程序	路径一或路径二

提示词模板示例如下：

请用纯文本字符画一根香蕉，宽度不超过 40 列，只使用 ASCII 字符和空格，只输出图形，不要任何解释。

把提示词、参数和版本一起保存在版本库中。每次改动都要生成新的版本号，避免两次运行之间悄悄改变条件。

三、两条生成路径及公平对比

路径一是模型直接输出图形并保存。模型按提示词写出字符画，并通过工具调用把结果写入文件。这条路径考验模型对字符空间布局的理解，也考验它调用文件写入工具的能力。

路径二是模型生成程序，由程序输出图形。模型先写一段程序，运行后在终端打印图形。这条路径考验代码生成和执行结果的正确性。图形质量主要取决于程序逻辑，与模型直接排版的能力关系较小。

两条路径不能直接横比。直接输出时，模型要精确控制每个字符的位置和比例。写程序时，模型只需把描述转换为坐标、字符映射和循环逻辑。两者的结果放在一起，可能同时反映模型能力和任务形式的差异。

分别报告两条路径的结果，并满足以下控制变量：

• 提示词文本、宽度限制和字符集保持一致。
• 使用同一份评分量表，并由同一批评分者打分。
• 记录每次运行是否调用工具、是否生成程序、程序是否报错。
• 两条路径的样本量相同，重复次数 N 一致。
• 路径二中程序的代码质量不计入模型的排版能力。

四、评分量表与盲评流程

字符画没有标准答案，所以要先定义量表。下表给出五项指标，每项 1 到 5 分，总分 25 分。

指标	1 分	3 分	5 分
轮廓可辨认	无法识别为香蕉	轮廓模糊，需要猜测	一眼可以识别
弯曲方向	弯向错误或没有弯曲	有弯曲，但幅度不自然	弯曲方向和幅度符合香蕉
局部完整	多处断裂或错位	少量断裂	线条连续，没有错位
整体比例	长宽比明显失调	基本合理	比例自然
指令遵循	超出宽度或含多余文字	轻微超宽	符合宽度、字符集和无解释要求

合格线定义为：总分不低于 18 分，且指令遵循不低于 3 分。该阈值只是评测约定，不代表任何模型的实测结论。

下面是一个示意图，用于说明“轮廓可辨认”的参考形态。它不是实测输出，也不对应任何分数：

        __
      /    \_
     |       \
      \___    |
          \__/

盲评流程如下：

1. 去除结果上的模型标识，按顺序编号，例如 A-001。
2. 至少两到三人独立打分，互不讨论。
3. 同一条目上分差达到 2 分及以上的，进入讨论。讨论后仍不一致时，取中位数，并记录原始分数。
4. 计算评分者之间的一致性，例如加权 Kappa，或统计两人分数相差不超过 1 分的比例。
5. 全部打分完成后，再把编号对应回模型标识。

五、如何检查功能完整性与文件操作

功能完整性要拆成步骤逐项记录。检查项包括：是否理解任务、是否输出完整图形、是否调用保存操作、文件是否存在、文件内容与终端输出是否一致。一旦某步失败，记录中断的位置，便于定位原因。

文件操作的检查项如下：

• 路径：保存到指定目录。目录不存在时报错，不自动写入其他位置。
• 权限：确认进程对目标目录有写权限，失败时记录错误信息。
• 编码：统一使用 UTF-8，检查文件字节能否按 UTF-8 正确解码。
• 覆盖：目标文件已存在时，先备份为带时间戳的副本，再写入新内容。
• 一致性：读回文件，与终端输出逐字比较，并记录末尾换行等差异。

评测应使用专用目录，例如 ./eval_output/。路径错误或覆盖写入可能损坏已有文件，所以评测脚本不应直接写入用户的重要目录。

六、重复运行与合格率统计

单张图无法说明稳定性。每个任务应重复运行 N 次，并统计以下数据：

任务	运行次数 N	合格次数	合格率	失败类型分布
香蕉字符画（路径一）	10	待填	合格次数 ÷ N	超宽、断裂、未保存等
香蕉字符画（路径二）	10	待填	合格次数 ÷ N	程序报错、逻辑错误等

报告时，除合格率外，还要给出总分的最低值、中位数和最高值。这样可以看出结果的分布范围，避免只展示最好的一张图。

七、响应效率与成本

每次请求都要记录提交时间和完成时间，计算耗