Transformer在美团搜索排序中的实践

一、引言
随着互联网的快速发展，搜索引擎已成为人们获取信息的主要途径之一。在搜索引擎中，搜索排序的准确性对于用户体验至关重要。Transformer作为一种强大的深度学习模型，已经在自然语言处理领域取得了巨大的成功。近年来，越来越多的研究开始探索将Transformer应用于搜索排序领域。美团作为一个知名的电商平台，也在不断探索如何利用Transformer提高搜索排序的准确性。
二、特征工程
在搜索排序系统中，模型的输入特征维度高但稀疏性很强，而准确的交叉特征对模型的效果又至关重要。所以，寻找一种高效的特征提取方式就变得十分重要。我们借鉴AutoInt的方法，采用Transformer Layer进行特征的高阶组合。具体来说，我们将原始输入特征转换为一系列Embedding向量构成的矩阵E，然后通过线性投影得到三个矩阵。这些矩阵将被输入到Multi-Head Attention中进行特征提取和信息融合。
三、行为序列建模
在搜索排序中，用户的行为序列对于预测用户的兴趣和意图至关重要。我们采用Transformer编码层对用户行为序列进行建模。编码层的输入是用户行为序列的Embedding向量，输出是经过Multi-Head Attention和Feed Forward Network处理后的向量序列。这些向量序列可以捕捉用户行为的时序信息和上下文信息，从而更好地理解用户的兴趣和意图。
四、重排序
重排序是搜索排序中的重要环节，旨在根据用户的查询意图和系统对用户行为的预测，对原始结果进行重新排序，以提高搜索结果的准确性和相关性。我们采用Transformer模型进行重排序，将特征向量生成部分和重排序模型作为一个整体进行联合端到端训练。在训练和预测阶段，我们固定选择TopK进行重排，以解决某些请求曝光item集不够TopK的情况，并在末尾补零向量进行对齐。此外，考虑到线上性能问题，重排序的候选集不能过大。我们分析数据发现95%的用户浏览深度不超过10，所以我们选择对Top10的商户进行重排。
五、实践效果及经验
经过实验验证，Transformer在美团搜索排序中取得了显著的效果。线上NDCG和QV_CTR均稳定正向提升。位置编码向量的重要性在重排序中很重要，需要位置编码向量来刻画位置，让模型更好地学习出上下文信息。离线实验发现去掉位置向量NDCG@10下降明显。
六、结论
通过在美团搜索排序中的实践经验，我们发现Transformer模型具有强大的特征提取能力和行为序列建模能力。同时，重排序环节能够有效提高搜索结果的准确性和相关性。在实际应用中，我们还需关注线上性能问题并合理选择重排序的候选集大小。未来的研究方向可以进一步探索如何结合业务特点和用户需求优化Transformer模型的结构和参数设置，以提升搜索排序的准确性和用户体验。