蛋白质生成为何不能只按顺序预测：扩散与流匹配原理

一、问题本质：蛋白质不是普通文本

本文要解释的核心原理是：为什么面向氨基酸序列的蛋白质语言模型，不能天然等价于面向三维结构的蛋白质生成模型，以及扩散模型、流匹配模型为什么能够在结构设计任务中表现出不同的能力。

蛋白质通常由氨基酸链组成。若只从数据形式看，它与文本类似，都是由离散符号构成的序列，因此可以使用类似语言建模的方法学习。例如，模型根据前面已经出现的氨基酸，预测下一个氨基酸：

x1, x2, x3, ..., xt  ->  预测 xt+1

这种方式适合回答“哪些氨基酸组合在自然蛋白质中更常见”这样的问题。但蛋白质的功能并不只由线性序列决定。序列折叠后会形成螺旋、折叠、环、口袋、界面等三维结构，远距离的两个氨基酸可能在空间中彼此接近，并共同影响稳定性和功能。

因此，蛋白质设计实际面对的是一个多约束问题：

• 序列必须符合氨基酸组成和进化统计规律；
• 局部结构必须满足键长、键角和几何连续性；
• 远距离残基之间需要形成合理的空间关系；
• 整体结构要具备足够稳定性；
• 目标区域还可能需要满足结合、催化或识别等功能要求。

如果模型只按照从左到右的顺序生成，就容易把一个高度耦合的三维问题，简化成局部条件概率的连续预测问题。

二、自回归模型为什么会受到限制

自回归模型的基本目标是最大化序列概率：

[
P(x)=\prod{i=1}^{L}P(x_i|x_1,x_2,\ldots,x{i-1})
]

其中，(L) 表示序列长度。模型每次生成一个位置，并将已经生成的内容作为后续决策的条件。

这种机制有三个明显特点。

1. 生成顺序是固定的

模型先决定第一个位置，再决定第二个位置，直到完成整条序列。固定顺序有利于训练和解码，但也会带来顺序偏差。

在蛋白质结构中，第一个位置和最后一个位置可能形成空间接触；某个中间残基的选择，可能同时影响多个远距离区域。按照线性顺序逐步确定，会使模型较早做出的局部决策不断传递到后面，最终形成误差累积。

2. 局部正确不代表整体可折叠

假设模型在每个位置都选择了概率较高的氨基酸，得到的结果仍可能无法形成稳定结构。原因在于：

• 局部片段之间的相对方向不协调；
• 远程接触关系没有被同时满足；
• 核心区域过于拥挤或过于松散；
• 疏水残基没有形成合理的内部堆积；
• 表面电荷分布与目标功能不匹配。

这说明“每一步预测得合理”和“最终三维结构合理”之间，并不存在简单的等价关系。

3. 训练目标与设计目标不完全一致

语言模型通常学习的是数据分布，也就是哪些序列更像自然界中已经存在的蛋白质。而结构设计希望得到的是满足特定约束的新结构，甚至可能要求生成自然界中没有出现过、但物理上可行的序列。

前者更接近“模仿已有分布”，后者更接近“在约束空间中搜索可行解”。如果训练目标没有直接表达三维几何关系，模型就可能擅长生成“看起来像蛋白质”的序列，却无法保证其折叠结果符合设计要求。

三、扩散模型的基本思想：从噪声逐步恢复结构

扩散模型采用与自回归完全不同的生成路径。它不是一次只决定一个序列位置，而是先将目标结构逐渐扰动成噪声，再学习如何反向去噪。

设真实结构为 (x_0)，前向过程不断加入噪声：

[
x_0 \rightarrow x_1 \rightarrow x_2 \rightarrow \cdots \rightarrow x_T
]

当步数足够多时，(x_T) 接近随机噪声。模型训练的目标，是学习从 (x_t) 恢复到更清晰状态的反向过程：

[
xT \rightarrow x{T-1} \rightarrow \cdots \rightarrow x_1 \rightarrow x_0
]

在蛋白质设计中，状态 (x) 不一定只是氨基酸符号，也可以表示：

• 残基的三维坐标；
• 残基之间的距离或方向关系；
• 主链局部构象；
• 侧链取向；
• 序列与结构的联合状态。

这样做的关键价值是，模型每一步都可以同时观察和修正整个结构，而不是只处理一个线性位置。

四、为什么非从左到右的方式更适合结构生成

蛋白质结构存在显著的全局耦合。一个局部区域发生变化，可能会影响多个远端区域。扩散式生成通过全局状态迭代更新，具有以下特点。

1. 可以同时协调多个空间区域

模型在某一步更新时，可以同时考虑全体残基、整体几何关系和条件信息。例如，当设计一个结合位点时，模型不仅调整结合位点附近的残基，还能同步调整周围骨架，使口袋空间、入口方向和整体稳定性保持一致。

2. 允许反复修正早期决策

自回归生成一旦确定某个位置，后续通常只能在其基础上继续生成。扩散生成则会在多个时间步中反复修改同一结构区域。早期形成的粗略骨架，可以在后续去噪阶段逐渐得到细化。

这种“先确定整体形状，再完善局部细节”的过程，更接近复杂结构设计的实际需要。

3. 条件信息可以在多个阶段发挥作用

结构生成通常需要加入约束，例如：

• 指定部分残基必须固定；
• 指定某个区域的形状；
• 指定两个区域之间的距离；
• 指定目标结合界面；
• 指定骨架、对称性或拓扑结构。

在扩散过程中，这些条件可以作为每个时间步的引导信号，持续影响结构恢复，而不是只在序列生成的某个位置使用一次。

五、流匹配模型：学习连续状态变化

流匹配模型同样不是逐个位置生成序列，而是学习从简单分布到目标结构分布的连续变换过程。

可以把生成过程理解为一条状态轨迹：

[
x(0) \rightarrow x(t) \rightarrow x(1)
]

其中，(x(0)) 可以是随机初始化状态，(x(1)) 是最终蛋白质结构。模型学习的是每个状态下应该沿什么方向移动，也就是一个向量场：

[
\frac{dx}{dt}=v_\theta(x,t,c)
]

这里的 (x) 是当前结构状态，(t) 是生成进度，(c) 是条件信息，(v_\theta) 则表示模型预测的变化方向。

与离散扩散步骤相比，流匹配更强调连续动力学。它的直观意义是：模型不是记住“下一步应该去哪里”，而是学习在不同状态下“应该向哪个方向演化”。

六、典型系统由哪些模块组成

一个通用的蛋白质结构生成系统，通常可以拆分为以下几类模块。

1. 表示模块

负责把氨基酸、残基关系和三维几何信息转换为模型可以处理的向量或张量。常见表示包括：

• 单个残基的特征；
• 残基对之间的距离特征；
• 局部坐标系；
• 三维坐标或方向信息；
• 结构条件和功能条件。

表示模块的质量直接影响模型能否理解空间关系。

2. 几何建模模块

该模块负责处理旋转、平移和空间关系。蛋白质结构在整体旋转或平移后，物理意义并没有改变，因此模型最好具备相应的几何不变性或等变性。

简单来说，输入结构整体旋转后，模型不应该错误地认为它变成了另一种蛋白质；如果模型输出的是坐标，输出也应按照相同的几何变换发生变化。

3. 条件控制模块

用于注入设计约束。它可以将固定结构、目标区域、接触关系或功能标签转化为模型可以使用的条件信号。

条件控制不是简单地把文本附加到输入末尾，而是要让条件参与每一轮结构更新，否则模型可能只在生成初期关注条件，后续逐渐偏离目标。

4. 生成调度模块

扩散模型需要决定每个时间步的噪声强度和更新方式，流匹配模型需要确定数值积分过程。调度策略会影响生成速度、稳定性和结果多样性。

步数过少，结构可能没有充分修正；步数过多，计算成本增加，也可能放大数值误差。

5. 评估与筛选模块

生成结果不能直接视为可用设计，还需要经过多层检查：

• 几何合法性检查；
• 结构稳定性预测；
• 序列与结构一致性检查；
• 目标区域是否满足约束；
• 是否存在明显冲突或异常构象；
• 多次采样结果是否具有一致性。

因此，生成模型通常只是候选产生器，后续验证和筛选同样重要。

七、一次完整生成流程

一个通用流程可以分为六步。

第一步，定义设计条件。包括目标结构、固定区域、可变区域、对称关系或功能位置。

第二步，初始化状态。扩散方法通常从带噪结构开始，流匹配方法通常从随机或简单分布中的状态开始。

第三步，提取当前状态特征。模型读取残基信息、空间关系、条件信息和当前生成进度。

第四步，预测更新方向。模型判断哪些区域需要移动、旋转、收缩、展开或重新组织。

第五步，迭代更新。根据调度策略修改全局结构，重复多轮，使结构从粗略状态逐渐趋向可行状态。

第六步，后处理与筛选。将结构转换为序列或完整原子表示，并进行几何、物理和功能相关评估。

伪代码可以表示为：

condition = build_condition(target, fixed_region, constraints)
state = initialize_noise_or_simple_state()
for time in generation_schedule:
    feature = encode(state, condition, time)
    direction = model(feature)
    state = update(state, direction, time)
candidates = decode_to_structure_and_sequence(state)
results = validate_and_rank(candidates)
return results

这个流程与自回归方法最大的差异在于：state 表示的是一个整体结构，模型在每次更新时都可能修改多个区域。

八、扩散与流匹配并不意味着没有难题

非自回归结构生成具有明显优势，但不能简单理解为“只要使用扩散或流匹配，就一定能得到可用蛋白质”。

首先，模型生成的几何结构不一定对应稳定的物理状态。神经网络可以学习数据中的结构规律，但实际能否折叠、是否具有合理能量，还需要额外验证。

其次，条件约束可能相互冲突。例如，指定的结合位点、骨架形状和局部几何关系未必同时可行。条件越多，搜索空间越窄，模型越容易出现无法满足全部约束的情况。

再次，生成质量与训练数据分布有关。如果训练数据缺少某类拓扑结构或特殊构象，模型在这些区域的外推能力会下降。

最后，多样性与可控性之间存在权衡。约束过强可能得到结构相似的结果，约束过弱则可能产生大量不符合目标的候选。

九、常见误区

误区一：蛋白质语言模型完全没有结构能力

实际上，序列中包含大量结构线索，语言模型可以通过统计规律间接学习部分结构信息。问题不在于它“不会理解结构”，而在于其主要训练目标未必直接优化三维几何一致性。

误区二：自回归一定落后，扩散一定更好

两类方法解决的问题不同。自回归方法在序列建模、条件补全和局部编辑方面仍然有价值；扩散与流匹配更适合全局结构生成和复杂约束下的空间协调。实际系统也可以组合使用，而不是二选一。

误区三：生成结构就等于完成蛋白质设计

结构只是设计链路中的一个阶段。还需要考虑序列可实现性、折叠稳定性、表达条件、实验可验证性以及目标功能是否真实成立。

十、总结

蛋白质语言模型与结构生成模型的差异，本质上是建模对象和优化目标的差异。自回归方法沿着线性序列逐步预测，擅长学习局部和顺序依赖；扩散模型通过逐步去噪恢复整体结构，流匹配模型则学习从简单状态到目标结构的连续演化路径。

由于蛋白质的关键性质来自三维空间中的全局耦合，非从左到右的生成方式能够同时协调多个区域、反复修正早期结果，并持续注入结构和功能条件。但它们仍然需要可靠的数据、合理的几何表示、稳定的采样过程以及充分的后处理验证。

因此，更准确的结论不是“蛋白质语言模型学不会说话”，而是：如果问题本质上是三维结构设计，就不能只用适合线性序列的语言建模方式来描述它。模型需要在正确的表示空间中学习，并采用与目标物理结构相匹配的生成机制。