广告深度学习计算：召回算法和工程协同优化的实践经验

在广告推荐系统中，召回算法是关键的一环，其目标是从海量数据中快速准确地找出与用户兴趣相关的广告。随着深度学习技术的发展，广告召回算法取得了显著进步，但同时也面临着一些挑战。本文将分享一些在广告深度学习计算中的实践经验，包括使用非典型的非数值计算、离线计算广告特征、优化TopK和内积计算等。

首先，对于非典型的非数值计算，如TopK和beam search等，这些计算如果只使用TensorFlow原生算子会带来性能热点，使latency过长（数十上百毫秒）无法满足线上服务的要求。为了解决这一问题，可以采用一些工程协同优化的方法。例如，调研原生TopK算子的GPU实现，分析其性能瓶颈并寻找优化的可能性。另外，可以将这些非典型的非数值计算任务进行拆分和并行化处理，以提高计算效率。

其次，广告特征的计算也是广告召回中的重要环节。由于广告特征都是固定的，可以将广告所在那一路的DNN在离线提前算完，线上模型直接拿到所有广告的向量作为常量模型参数。这样可以避免在线实时计算带来的性能开销，提高系统的响应速度。同时，为了保证计算的准确性，需要对广告特征进行精细的设计和选择，以确保召回算法的准确率和效果。

接下来是优化TopK计算的挑战。由于规模达到了数百万，使用TensorFlow原生TopK算子会导致latency过高（数十ms），不满足线上服务的要求。为了解决这一问题，可以采用一些高效的TopK算法和优化策略。例如，可以采用近似算法对大规模数据进行筛选，以减少计算量和提高效率。同时，也可以采用分布式计算的方式对数据进行分片处理，进一步加速TopK计算的过程。

另一个挑战来自于内积计算。内积计算是全模型计算量和访存量最大的部分，对于它的处理也相当重要。为了提高内积计算的效率，可以采用一些并行化和矢量化优化的方法。例如，利用GPU的并行计算能力进行大规模矩阵运算；利用编译器的矢量化优化功能提高内积计算的并行度和执行效率。此外，也可以对内积计算中的稀疏矩阵进行压缩存储和运算，以减少存储空间占用和提高访问速度。

除了上述的经验外，还有一些其他的优化技巧可以应用到广告召回算法中。例如，可以采用数据降维技术对高维数据进行降维处理，以减少计算量和提高算法的实时性；可以采用模型压缩技术对深度学习模型进行压缩存储和加速推理；可以采用缓存技术对常用数据进行缓存，以减少重复计算和加速系统响应等。

综上所述，广告深度学习计算中的召回算法和工程协同优化需要综合考虑多个方面的问题。通过实践经验的积累和应用，可以不断提高广告召回的准确率和效率，为广告推荐系统的发展提供有力支持。