短视频推荐系统：工作原理、架构与技术

短视频推荐系统是信息流推荐系统的一种，它的工作流程在各家公司中基本上大同小异。一条短视频从入库到分发，主要经过召回、排序、重排序等几个环节的处理，最终确定合适的展示位，得到最终分发。以今日头条APP视频推荐为例，用户的一次刷新行为触发api透传一条request给service；Service会根据这个request的场景构建context；根据实验与策略判断user触发的召回序列；根据召回序列进行内容召回；打分前过滤；模型打分：粗排+精排；打分后过滤；策略层重排序；兜底过滤：dislike、版权、历史去重等；排序结果返回给前端进行头部展示。

一、推荐系统与架构

在短视频推荐系统中，架构的搭建至关重要。推荐系统主要由召回架构和排序架构两部分组成。召回架构是推荐系统的第一个排序阶段，召回的内容作为排序的候选集，直接决定着参与排序的实体是否符合用户口味。对于短视频个性化推荐场景而言，通常我们把这个“key”设置成用户的userid，也就是说，每路召回会为不同的用户召回不同的内容。而对于基于内容的召回场景而言，这个“key”更多的是一些视频的画像类特征，包括tag、categeory、subcategory、topic、keywords等，同不同的特征映射一些排序规则，实现在该特征下内容的召回。

二、召回算法与策略

在召回阶段，我们通常采用各种算法来寻找与用户兴趣相匹配的内容。这些算法可以基于用户历史行为、内容特征、用户画像等多种数据源进行建模和预测。常见的召回算法包括基于内容的推荐算法、协同过滤算法和混合推荐算法等。通过合理选择和组合这些算法，我们可以提高召回的准确性和多样性，从而提升整体推荐效果。

三、排序算法的演进

在排序阶段，我们需要根据用户的兴趣和视频的特征对候选内容进行精细的排序。传统的排序算法如贪婪搜索、Dijkstra算法等可能无法满足大规模数据处理和高实时性的要求。因此，深度学习技术逐渐成为主流的排序算法。通过构建神经网络模型，我们可以对用户兴趣和视频特征进行高维度的非线性映射，从而得到更加精细和准确的排序结果。常见的深度学习排序模型包括CTR预估模型、嵌入向量模型、图神经网络模型等。

四、分发策略的控制

在分发环节，我们需要通过各种策略来控制内容的分发量和分发速度，以满足不同用户的需求和平台的商业目标。常见的分发策略包括限时推荐、个性化推荐、热度推荐等。此外，我们还需要对内容进行过滤和去重处理，以避免重复和低质量的内容影响用户体验。

五、评估指标与优化

最后，我们需要对推荐效果进行评估和优化。评估指标主要包括线上指标和离线指标两部分。线上指标主要是整个推荐效果的线上统计指标，如DAU、CTR、人均停留时长、人均PV等。离线指标更多是对召回算法、排序算法的效果的一个评估。通过这些指标的分析和优化，我们可以不断改进和提升推荐系统的性能和效果。

总结：短视频推荐系统是一个复杂的系统工程，涉及到多个环节和多种技术。通过对推荐系统与架构的深入理解，以及不断优化召回算法与策略、排序算法的演进和分发策略的控制等方面，我们可以不断提升推荐效果，满足用户需求的同时实现商业目标。