阈值引导优化：无需偏好对的视觉生成模型对齐新范式

概念定义：什么是TGO？

Threshold-Guided Optimization（TGO）是一种基于阈值引导的生成模型对齐方法，其核心思想是通过估计样本分数分布的阈值，将独立样本的标量评分转化为伪标签（pseudo-label），进而指导模型优化。具体而言，TGO将高于阈值的样本视为“伪正例”（pseudo-positive），低于阈值的视为“伪负例”（pseudo-negative），并通过最大化正例与参考模型（reference model）的相对概率、最小化负例的相对概率，实现模型对齐。

与传统方法（如RLHF、DPO）依赖成对偏好数据不同，TGO直接利用单个样本的标量评分，避免了将标量分数强制转换为偏好对时可能引发的信息损失。例如，在图像生成任务中，用户对生成结果的评分（如1-10分）可直接作为输入，而无需额外构造“样本A比样本B更好”的成对数据。

背景与价值：为何需要TGO？

传统方法的局限性

过去几年，生成模型的后训练（post-training）主要依赖成对偏好数据，典型方法包括：

1. RLHF（Reinforcement Learning from Human Feedback）：通过强化学习从人类反馈中学习，但需要显式训练奖励模型（reward model），且依赖在线交互（online rollout），计算成本高。
2. DPO（Direct Preference Optimization）：将KL正则化的强化学习目标转化为分类问题，避免了奖励模型和在线交互，但仍需成对偏好数据（如“优选输出”与“拒绝输出”）。

成对偏好数据的核心问题是反馈形式受限：真实场景中，用户反馈多为单个样本的标量评分（如评分、点赞数），而非成对比较结果。强行将标量分数转换为偏好对（如将高分样本视为“赢家”，低分样本视为“输家”）会导致信息损失。例如，两个高分样本（9.5分和7.5分）在成对训练中可能被同等对待，但实际前者质量显著更高。

TGO的核心优势

TGO通过直接利用标量评分，解决了以下问题：

1. 反馈形式灵活：无需构造偏好对，适应真实场景中常见的标量反馈（如评分、排名）。
2. 信息利用率高：样本分数离阈值越远，监督信号越确定，训练权重越大，避免了成对转换中的信息平滑。
3. 计算效率提升：无需处理成对数据的组合爆炸问题（如从N个样本中构造O(N²)对偏好数据），降低计算复杂度。

核心组成：TGO的关键模块

TGO的技术框架包含以下核心模块：

1. 阈值估计模块：从样本分数分布中动态估计阈值，将标量评分转化为伪标签。阈值可通过分位数估计（如中位数）或可学习参数实现。
2. 权重分配模块：根据样本分数与阈值的距离，动态调整训练权重。距离越远，权重越大，突出高置信度样本的监督作用。
3. 优化目标模块：定义基于伪标签的损失函数，最大化正例与参考模型的相对概率，最小化负例的相对概率。

工作原理：TGO如何运行？

TGO的运行流程可分为以下步骤：

1. 数据准备：收集独立样本的标量评分（如用户对生成图像的1-10分评分）。
2. 阈值估计：从分数分布中估计阈值τ。例如，若分数服从正态分布，可取中位数作为τ；若分布偏态，可采用分位数估计。
3. 伪标签生成：将样本分为两类：
   • 伪正例：score ≥ τ
   • 伪负例：score < τ
4. 权重计算：为每个样本分配权重w，权重与分数离阈值的距离成正比。例如：

   w = |score - τ| / σ  # σ为分数分布的标准差

5. 模型优化：最小化以下损失函数：

   L = -w * [log(P(x|θ)/P(x|θ_ref)) * I(score ≥ τ) + log(1 - P(x|θ)/P(x|θ_ref)) * I(score < τ)]

   其中，θ为当前模型参数，θ_ref为参考模型参数，I为指示函数。

典型场景：TGO的适用范围

TGO适用于以下场景：

1. 用户反馈为标量评分的任务：如图像生成、文本生成、推荐系统等，用户通过评分、点赞数等标量形式反馈偏好。
2. 冷启动或数据稀缺场景：当成对偏好数据难以收集时，TGO可直接利用现有标量评分进行训练。
3. 实时反馈优化：在在线学习场景中，用户对生成结果的实时评分可直接作为输入，无需等待成对数据积累。

相关概念区别：TGO vs DPO

TGO与DPO的核心区别在于反馈形式与优化目标：
| 维度 | TGO | DPO |
|————————|—————————————————|—————————————————|
| 反馈形式 | 独立样本标量评分 | 成对偏好数据（优选/拒绝输出） |
| 监督信号 | 伪标签（基于阈值） | 相对概率（基于成对比较） |
| 信息利用率 | 高（保留标量分数的绝对信息） | 低（仅保留成对比较的相对信息） |
| 计算复杂度 | O(N)（单样本处理） | O(N²)（成对数据组合） |
| 适用场景 | 标量反馈丰富的任务 | 成对偏好数据易获取的任务 |

使用注意事项：TGO的实践建议

1. 阈值选择：阈值估计需兼顾分布特性与任务需求。例如，在偏态分布中，中位数可能优于均值；在长尾分布中，可采用分位数估计。
2. 权重设计：权重函数需平衡高置信度样本的监督作用与低置信度样本的探索价值。例如，可采用分段线性函数或指数函数调整权重。
3. 参考模型选择：参考模型（θ_ref）的质量直接影响优化效果。建议选择预训练模型或上一轮训练的模型作为参考。
4. 分布偏移处理：若训练集与测试集的分数分布差异较大，需动态调整阈值或引入分布适配技术。

总结：TGO的核心价值与边界

TGO通过阈值引导的伪标签生成与权重分配机制，实现了无需成对偏好数据的生成模型对齐。其核心价值在于：

1. 突破反馈形式限制：直接利用标量评分，适应真实场景中的多样化反馈。
2. 提升信息利用率：保留标量分数的绝对信息，避免成对转换中的信息损失。
3. 降低计算复杂度：从O(N²)降至O(N)，适合大规模数据训练。

然而，TGO的适用边界也需注意：

1. 分数分布假设：阈值估计依赖分数分布的合理性，若分布严重偏态或多峰，需额外处理。
2. 伪标签噪声：阈值附近的样本可能被误分类，需通过权重设计或后处理缓解。
3. 参考模型依赖：优化效果受参考模型质量影响，需定期更新参考模型。

未来，TGO可与强化学习、元学习等技术结合，进一步拓展其在动态环境与少样本场景中的应用潜力。