多参考图生成模型评测：合影场景的能力验证

评测概述

多参考图像生成（Multi-Reference Image Generation）是生成式 AI 中一个颇具挑战性的方向。与单图生成不同，它要求模型同时理解多张输入素材——人物面孔、服装样式、场景背景、整体画风——并将其有机融合到一张全新的图片里。典型诉求就是：给四张参考图（一张脸、一件衣服、一个背景、一张风格图），让模型拼出一张自然的合影。

现实中，这类任务的结果常常令人失望：人物莫名其妙多出头部、衣服颜色错位、背景消失，或者每个元素都像从原图”剪下来直接粘贴”，光线、透视、比例都对不上，整张图透出廉价的”拼贴感”。这并非操作问题，而是当前多参考图像生成模型的共性短板。本文的评测对象，正是这一类模型与生成方案的能力表现。

评测目标与读者定位

本次评测不追求”哪个模型绝对最好”的结论，而是帮助读者回答四个问题：这类模型的能力边界在哪里、应该从哪些维度评测、结果如何解读、在什么场景下值得关注哪些指标。目标读者包括 AI 应用开发者、算法工程师、技术负责人以及计划将生成能力落地到业务中的技术团队。

需要强调：评测不是简单判断”好不好”，而要结合业务场景、生成质量要求、调用成本、稳定性与长期可维护性综合判断。一个在特定任务上表现亮眼的模型，放到生产环境未必合适，反之亦然。

评测对象：多参考图生成到底难在哪

理解难点是设计评测的前提。单参考图生成（如换脸、换发型、换背景）目前较为成熟，模型通常不会出大错。但当参考图增加到两张、三张乃至四张时，问题会显著恶化。

原始材料提到一个关键现象：即便是开源界的顶尖选手，在”四参考图”任务上的平均得分也仅在个位数（约 5.72 / 满分 10），意味着大量分数无法拿到，连”及格线”都难触及。这说明多图融合并非个别模型的偶发缺陷，而是普遍存在的系统性难题。

其根本原因在于：每张参考图在任务中扮演的角色不同。有的提供人物身份，有的提供服装样式，有的提供场景背景，有的提供整体画风。模型需要做的不是”把元素贴上去”，而是先理解每张图承担的角色，再协调它们之间的一致性关系——光照如何统一、透视如何对齐、身份如何保持不变、风格如何贯穿全局。角色识别不清、要素约束缺失，就会直接导致”拼贴感”。

这也解释了为什么一种”编剧 + 导演”式的思路会有效：先由”编剧”规划每张参考图应贡献什么内容（角色分工），再由”导演”统筹最终画面的构图、光照与一致性（全局协调）。将多图融合从”一次性拼接”拆解为”先规划、后编排”，正是评测这类方案时值得重点关注的能力设计。

评测维度设计

要科学评测多参考图生成能力，必须把抽象效果拆解为可观察、可验证、可解释的指标：

评测维度	关注问题	验证思路
身份一致性	生成人物是否保留参考脸的特征	对比参考脸与输出脸的身份特征
要素保真度	服装颜色/款式、背景内容是否准确还原	逐项核对每个参考图贡献的要素
空间一致性	多主体透视、比例、遮挡关系是否合理	观察构图是否符合真实物理逻辑
光照与风格统一	画面光线、色调、画风是否融合自然	检查是否存在”局部贴片”割裂感
角色分工理解	模型是否正确区分各参考图的用途	交换参考图顺序，观察结果是否错位
指令遵循度	数量、位置、交互等文本约束是否满足	给出明确排版指令后核对
稳定性	相同输入多次生成的一致性	重复采样，观察结果波动
生成效率与成本	响应时间、资源消耗是否可控	记录调用耗时与资源占用

每个维度都对应可操作的检查动作，避免”看起来不错”这类主观判断。

评测环境与前提

在动手测试前，需先固定以下条件，否则结果不可比、不可复现：

• 输入样本设计：准备覆盖不同难度的一组测试集，包含人物数量（1 人 / 2 人 / 4 人）、参考类型（脸、服装、背景、风格）的不同组合，以及易失败场景（多人交叉、复杂光照、强风格化）。
• 调用条件统一：固定推理参数、输入分辨率、生成尺寸与随机种子策略，确保各方案在同等条件下对比。
• 资源环境一致：统一计算资源配置与网络条件，避免硬件差异掩盖能力差异。
• 评价方式明确：结合人工主观评分（多人独立打分取均值）与可自动化的身份/要素一致性检查，减少单一评价偏差。
• 边界声明：明确测试仅覆盖所设样本，不外推到未测场景。

评测方法

建议按”建立基线 → 分维度验证 → 控制变量 → 记录数据 → 分析边界”的流程推进：

1. 建立基线：先跑单参考图任务，确认基础生成能力正常，作为多图对比的参照。
2. 分维度验证：逐一验证身份一致性、要素保真度、空间一致性等，而不是只看整体观感。
3. 控制变量：一次只改变一个因素（如增加一张参考图、交换顺序、改变人物数量），定位能力衰减点。
4. 记录过程：记录每次生成的输出、耗时、资源使用、失败类型（多余人头 / 元素错位 / 背景丢失 / 风格割裂）。
5. 交叉验证：交换参考图输入顺序、调整指令描述，观察模型是否真正理解”角色分工”。

示意性验证流程（伪代码，通用示例，不含任何特定工具或接口）：

for sample in test_dataset:
    for combo in reference_combinations(sample):
        output = generate(reference_images=combo,
                          layout_instruction=sample.instruction)
        record(output, latency, resource_usage)
        check_identity_consistency(output, combo.face_ref)
        check_element_fidelity(output, combo.clothing_ref, combo.bg_ref)
        check_spatial_consistency(output)
        score = human_rating(output, raters=[r1, r2, r3])

结果解读

评测结果需要条件化理解，避免绝对化结论：

• 单图任务得分高、多图任务得分骤降：这是典型能力边界信号，说明模型尚未解决”角色分工与全局协调”问题。判断某模型是否适合业务，关键看它在你实际需要的参考图数量上的表现，而非单图表现。
• 身份保真好但光照割裂：适合对”人物准确性”要求高、但对”合成自然度”要求可放宽的场景（如概念预览），不适合追求成品级照片的场景。
• 多次生成波动大：说明稳定性不足，用于批量生产时会带来大量返工成本。
• 对指令顺序敏感：反映角色理解能力较弱，工程接入时需要额外的输入规范化处理。

结论应始终回答”在什么条件下成立”，而非泛泛给出”好/不好”。

适用场景与选型建议

不同业务应关注不同指标：

• 内容预览 / 概念设计：可容忍一定瑕疵，重点看要素保真与迭代速度。
• 营销素材 / 成品出图：光照一致性、空间合理性、稳定性权重更高，返工成本必须纳入考量。
• 高并发生产：生成效率、资源消耗、稳定性是关键，需压测验证吞吐与长时运行表现。
• 对合规敏感的场景：应关注输入素材的授权与数据来源合规性，避免版权与隐私风险。

选型上建议：先用自建测试集完成分维度验证，再结合成本、稳定性和维护成本做综合权衡，而非仅凭单一案例或单张样例做决策。

风险与限制

评测本身存在若干不确定性，需在结论中说明：

• 样本偏差：测试集无法覆盖所有人物组合与光照条件，结论仅在测试范围内成立。
• 评价主观性：人工打分存在个体差异，需多人独立评分并控制评判标准。
• 环境差异：硬件、参数、数据规模不同会导致结果不可直接横比。
• 随机性：生成模型天然带随机性，单次结果不代表整体水平，需多次采样。
• 长期稳定性未知：短期测试难以反映模型在持续高负载下的表现变化。

总结

多参考图像生成的核心难点，在于模型需要正确识别每张参考图的角色，并完成身份、要素、光照、风格的全局协调——这正是”先规划、后编排”这类思路的价值所在。评测这类模型时，应围绕身份一致性、要素保真、空间一致性、光照风格统一、角色理解、稳定性、效率与成本等维度，在固定环境下分维度验证、控制变量、记录数据，并对结论标注适用边界。唯有条件化的评测，才能真正指导”是否适合业务使用”的判断，而不是停留在”看起来还行”的模糊结论上。