图像生成新模型评测：多参考图一致性如何验证

一、评测概述与读者收益

本文评测的对象是一款近期发布的图像生成模型。评测重点是它在同时接收多张参考图时，生成结果能否保留各参考图中的主体、风格和关键细节。公开资料和作者实测记录都提到，该模型在多参考图一致性上表现突出。本文不复述具体数值，而是给出一套可以独立复现的验证方法，帮助读者自行判断这一结论在自己的业务中是否成立。

本文适合以下读者：

• 开发者：需要把图像生成能力接入产品或工作流，想确认输出质量是否可用。
• 架构师：需要评估该能力对系统吞吐、延迟和成本结构的影响。
• 运维人员：关心服务稳定性、错误类型和异常处理方式。
• 技术负责人和企业技术团队：需要基于证据做选型，并给出可向业务方解释的结论。

评测的目的不是简单判断模型“好不好”。同一个模型在角色设计、电商商品图和批量素材生产中的表现可能差异很大。因此，评测需要结合业务场景、质量门槛、调用规模、单次成本和长期维护需求综合判断。

本文采用黑盒评测思路，只观察和记录可以直接感知的输入输出现象，不推测模型的内部结构或训练细节。这样得出的结论适用于调用层面的决策，不能直接外推为模型原理层面的结论。

二、评测目标

本次评测需要回答以下问题：

• 功能完整性：模型能否接收多张参考图和文本提示，并完成常见的生成流程。
• 多参考图一致性：生成图能否同时保留多张参考图的关键特征，包括主体外观、服饰、配色、材质和风格。
• 指令遵循：模型能否按照提示词调整构图、动作、场景和文字内容，同时不破坏参考特征。
• 性能表现：单次生成耗时、排队时间和并发场景下的延迟变化。
• 稳定性：连续运行和异常输入下，错误率与失败形式是否可控。
• 易用性：接入步骤、参数理解成本、调试难度和失败后的重试成本。
• 成本结构：单次调用成本、重试带来的隐性成本，以及人工筛选图片所花费的时间。

评测目标应在测试开始前确定。指标过多会分散精力，难以得出决策结论。建议优先覆盖与业务直接相关的两到三项核心指标，其余指标作为辅助参考。

三、被测能力说明

多参考图一致性指模型在一次生成中同时参考多张输入图片，输出的新图需要同时体现这些参考的关键特征。典型用法包括：

• 角色图加服装图加场景图，生成角色穿着指定服装处于指定场景中的图片。
• 产品图加背景图加风格图，生成符合品牌视觉风格的商品展示图。
• 多个人物或物体的参考图，生成包含这些主体的合成画面。

这一能力的难点通常集中在以下几个方面：

• 特征冲突：不同参考图之间的颜色、光照或风格相互矛盾时，模型需要做取舍。
• 主体漂移：生成多次后，主体的脸部、比例或关键标识逐渐偏离参考。
• 细节丢失：小尺寸的纹理、文字、图案或配件容易在生成过程中被简化。
• 风格融合不可控：风格参考的权重过高会压制主体特征，权重过低则风格无法体现。

理解这些难点，有助于后续设计样本和评分标准。评测时应刻意构造这些困难场景，否则结果容易偏向简单样本。

四、评测维度设计

评测维度需要拆解为可观察、可验证、可解释的指标。下表给出一套通用框架：

维度	关注的问题	可观察指标	验证方法
多参考图一致性	生成图是否保留各参考的关键特征	主体相似度、风格相似度、细节保留度	人工双盲评分加辅助特征比对
指令遵循	生成结果是否符合文本要求	元素完整率、动作与构图准确率	按清单逐项核对
输出质量	画面是否存在明显伪影、畸变或模糊	可用率、需返工比例	人工抽检与缺陷分类
功能完整性	核心流程能否跑通	输入格式支持、参考图数量上限、分辨率选项	功能用例逐项执行
性能	单次和批量请求的耗时与吞吐	延迟分布、并发拐点、单位时间产出量	分级压测
稳定性	长时间与异常条件下的表现	错误率、超时率、错误类型分布	长时运行与异常注入
易用性	接入和调试是否顺畅	接入步骤数、参数理解耗时、排障时间	记录工程师的实际操作过程
兼容性	与现有素材格式和流程是否匹配	图片格式、色彩空间、尺寸适配情况	格式矩阵测试
安全合规	内容审核与素材授权是否可控	拦截准确性、授权素材使用记录	合规样本核查
成本	单位可用图片的总成本	单次调用费用、重试次数、人工筛选工时	按成功出图数折算

多参考图一致性是核心维度，因此需要进一步拆分。主体相似度关注人物或物体的身份特征，风格相似度关注色调、笔触和光影，细节保留度关注纹理、文字和小配件。三类指标分开打分，才能定位问题出在哪一层。

成本维度不应只看单次调用价格。真正的成本是“每张可用图片的总成本”，它包括失败重试、人工返工和筛选时间。一个单价较低但可用率很低的方案，实际成本可能更高。

五、评测环境与前提

评测前需要明确以下条件，并在报告中完整记录：

• 调用方式：使用被测服务提供的标准调用方式，记录接口版本、参数配置和调用时间。
• 模型版本：记录具体版本标识。服务升级后，历史结果不能直接沿用。
• 参考图集：记录数量、分辨率、格式、来源和授权状态。参考图中若含有真实人像或客户资产，需事先完成脱敏和授权确认。
• 网络条件：记录测试机所在地域、网络带宽和平均延迟，并尽量在相似时段测试。
• 资源与并发：客户端的并发线程数、重试策略和超时设置需要固定。
• 测试边界：明确本次结论适用的输入类型、分辨率范围和业务场景，超出部分不纳入结论。

控制变量是保证结果可比的关键。同一轮对比中，提示词、参考图、参数和客户端配置应保持一致。若要比较两个方案，应使用同一套样本和同一份评分表。

六、评测方法

6.1 设计测试样本

样本集应覆盖真实业务中的典型情况，并刻意加入困难样本。建议按以下类别组织：

• 单参考图基线：每类主体只使用一张参考图，用于建立基线。
• 双参考图：主体图加风格图，验证风格迁移时主体是否保持稳定。
• 多参考图：主体、服饰、场景三类参考同时输入，验证多条件融合能力。
• 困难样本：参考图颜色冲突、光照差异大、主体局部遮挡或包含小尺寸文字。
• 边界样本：参考图数量接近上限、分辨率较低或较高。

每类样本的数量应足以支撑统计判断。样本太少时，单次好坏可能只是偶然结果，不能代表整体表现。

6.2 建立基线

基线用于衡量“没有多参考图条件时”的表现。做法是固定提示词，分别只输入单张参考图，记录生成结果的质量和一致性。之后再加入多张参考图进行对比，观察一致性下降的幅度和出现的位置。这样可以区分“模型本身生成质量不足”和“多参考融合带来的一致性问题”。

6.3 一致性评分

一致性评分建议采用人工评分为主、自动指标为辅的方式。

人工评分的做法如下：

1. 组织至少三名评审，互不知晓其他人的打分。
2. 每张生成图对每个参考图分别打分，评分范围为 1 到 5 分。
3. 主体相似度、风格相似度和细节保留度分开记录。
4. 对评分分歧较大的样本，组织评审讨论并记录原因，必要时修订评分说明。

自动指标可以使用通用的图像特征向量计算生成图与参考图之间的相似度。自动指标的优点是可重复、成本低，缺点是无法可靠判断风格和细节。因此，自动指标只能作为参考，结论需要与人工评分相互校验。若两者长期不一致，应优先相信人工评分，并重新审视自动指标是否适合当前场景。

以下为通用评测流程的示意伪代码，并非可直接运行的代码：

# 通用多参考图一致性评测流程（示意）
cases = load_test_cases("multi_ref_set.json")
records = []
for case in cases:
    for trial in range(case.repeat):
        result = call_generate(
            prompt=case.prompt,
            references=case.references,
            params=case.params,   # 固定参数，记录版本号
        )
        record = {
            "case_id": case.id,
            "trial": trial,
            "latency_ms": result.latency_ms,
            "error": result.error,
        }
        if result.ok:
            # 人工评分结果在后续环节回填，这里保留自动指标
            record["auto_similarity"] = {
                ref.id: feature_similarity(result.image, ref.image)
                for ref in case.references
            }
        records.append(record)
summarize(records)  # 按类别、并发层级和错误类型汇总

6.4 性能与稳定性

性能测试建议分三步进行：

1. 单请求延迟：连续发起若干次相同请求，记录延迟分布。关注中位数和高分位数，而不是只看平均值，因为高分位数更能反映用户感知到的慢响应。
2. 分级并发：逐步提高并发数，观察延迟和错误率开始明显上升的拐点。拐点对应的并发数，通常就是服务在当前配置下的实际承载上限。
3. 容量折算：将拐点数据换算为单位时间可产出的图片数量，用于估算批量生产的周期和成本。

稳定性测试需要覆盖以下情况：

• 长时间运行：连续请求数小时，观察错误率是否随时间上升，以及是否出现周期性超时。
• 异常输入：空参考图、格式错误的文件、超大分辨率图片、参考图数量超过上限、提示词与参考图明显矛盾。
• 网络波动：人为制造短时丢包或高延迟，检查客户端的重试和超时处理是否合理。
• 错误分类：记录错误码和错误信息，区分参数错误、限流、服务端超时和内容拦截。错误类型比错误总数更能指导排障。

6.5 易用性与成本

易用性可以通过实际操作过程来评估。让一名未接触过该服务的工程师按文档完成接入，记录以下数据：接入耗时、遇到的问题数量、查阅文档的次数、排障所用时间。这些数据能反映文档清晰度和调试便利性。

成本评估建议按“每张可用图片”折算，计算方式如下：

• 总成本包括调用费用、失败请求的费用、重试产生的费用和人工筛选工时。
• 可用图片数量指通过人工评审的图片数量。
• 单位成本等于总成本除以可用图片数量。

这种折算方式能暴露隐性成本。例如，一个方案单次费用较低，但需要大量重试和人工挑选，单位成本未必有优势。

七、结果解读

结果解读需要把现象和可能的原因联系起来，但原因部分应作为假设，需要通过进一步测试验证。下表列出几种常见现象：

观察到的现象	可能原因	建议动作
主体一致性高，但指令遵循率低	参考图权重过高，压制了文本指令	调整参考权重或减少参考图数量，重新测试
风格相似度高，主体漂移明显	风格参考占据主导，主体参考权重不足	分别测试不同参考权重组合