ECCV 2022 | ProbEn：基于概率融合的多模态目标检测

在计算机视觉领域，多模态数据融合是一种常见的方法，它通过结合来自不同模态的数据来提高目标检测的性能。然而，多模态数据融合存在一些挑战，例如模态间的信息冲突和模态间的信息缺失。为了解决这些问题，本文提出了一种基于概率融合的多模态目标检测方法——ProbEn。

ProbEn的基本思想是通过概率边缘化处理“缺失”模态，并利用Bayes规则和假设条件独立性推导出最优融合策略。具体来说，ProbEn将每个模态的预测概率视为条件独立，并使用Bayes规则计算多模态条件下的预测概率。通过这种方式，ProbEn可以在不同模态间进行有效的信息融合，提高目标检测的准确性和鲁棒性。

为了验证ProbEn的性能，我们在两个基准数据集上进行了实验，包括对齐（KAIST）和未对齐（FLIR）多模态图像。实验结果表明，ProbEn在相对性能上优于先前的工作超过13%。

总的来说，ProbEn是一种有效的多模态目标检测方法，它通过概率融合不同模态的信息，提高了目标检测的准确性和鲁棒性。在未来工作中，我们将进一步探索ProbEn在实际应用中的表现，并尝试将其应用于其他计算机视觉任务中。