大模型训练：超越固定上下文的长程依赖建模

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
在最近的语言模型研究中，一个关键的挑战是处理长序列输入，这通常受到固定长度的上下文限制。然而，这种限制阻碍了模型对输入序列中的所有位置进行上下文敏感的推理和预测。为了解决这个问题，我们提出了一种名为Transformer-XL的全新语言模型架构，它通过超越固定长度的上下文，实现了更高质量的上下文建模。
Transformer-XL的主要优势在于其引入了一种全新的自注意力机制——Multi-aspect Transformer（MAT）。这种注意力机制的设计思路是将输入序列划分为多个子序列，并针对每个子序列计算自注意力。这样做的好处是，每个位置可以在所有子序列中寻找相关性，从而更好地捕获输入序列中的长期依赖关系。
为了进一步提升模型的性能，我们还引入了两种训练技巧：Context Extrapolation（CE）和 Extrinsic Label Smoothing（ELS）。CE方法通过在训练过程中引入额外的“虚拟”上下文，帮助模型更好地理解输入序列中的全局信息。而ELS方法则通过将预测的标签分布调整为具有最小熵的分布，鼓励模型在训练过程中探索更多的可能性。
实验结果表明，Transformer-XL在多个基准测试中都取得了领先的性能。与传统的固定长度上下文模型相比，Transformer-XL在处理长序列输入时具有显著的优势。此外，我们的模型还展现出了强大的泛化能力，能够有效地适应各种不同的任务和领域。
总之，Transformer-XL提供了一种全新的解决方案，以处理语言模型中的长序列输入。通过超越固定长度的上下文，我们的模型能够更好地理解和利用输入数据中的长期依赖关系。这项工作为未来语言模型的发展提供了新的思路和方向。