北大彭宇新:跨媒体智能分析与应用

嗨,大家好。这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频——足够干货,足够新鲜!话不多说,快快看过来,希望这些优秀的青年学者、专家杰青的学术报告 ,能让您在业余时间的知识阅读更有价值。

 

 

人工智能论坛如今浩如烟海,有硬货、有干货的讲座却百里挑一。由中国科学院大学主办,中国科学院大学学生会承办,读芯术作为指定合作自媒体的“AI未来说·青年学术论坛”第三期“计算机视觉”专场已于2019年3月24日下午在中科院举行。北大彭宇新老师为大家带来报告《跨媒体智能分析与应用》。

 

 

彭宇新,北京大学二级教授、博士生导师、863项目首席专家、中国人工智能产业创新联盟专家委员会主任委员、中国工程院“人工智能2.0”规划专家委员会专家、中国图象图形学学会理事兼副秘书长。主要研究方向是:跨媒体分析与推理、图像视频理解与检索、计算机视觉。2006年入选教育部新世纪优秀人才支持计划和北京市科技新星计划,2016年获北京市科学技术奖一等奖(排名第一)。主持了863、国家自然科学基金等20多个项目,发表论文130多篇,包括ACM/IEEE Trans和CCF A类论文50多篇。7次参加由美国国家标准技术局NIST举办的国际评测TRECVID视频样例搜索比赛,均获第一名。主持研发的跨媒体互联网内容分析与识别系统已经应用于公安部、工信部、国家广播电视总局等单位。担任《IEEE Transactions on Circuits and Systems for Video Technology》等编委, ACM MM 2019、ICIP 2017/2019、ICPR 2018、ICME 2019等领域主席, AAAI 2016/2019、IJCAI 2015高级程序委员。

 

报告内容:随着多媒体和网络技术的迅猛发展,海量的图像、视频、文本等跨媒体数据快速增长,它们多源异构且相互关联,使得数据表征、信息检索、知识发现、语义推理面临跨媒体、跨数据源等挑战。如何借鉴人脑的跨媒体特性,跨越视觉、听觉、语言等不同的感官信息认知外部世界,对于提高计算机的感知认知能力和智能水平至关重要。本报告将对中国工程院“人工智能2.0”中跨媒体分析推理技术的任务和目标进行介绍,然后重点介绍我们的相关研究进展,包括细粒度图像分类、跨媒体检索、文本生成图像、视频描述生成等。

 

跨媒体智能分析与应用

 

数据有结构化的数据和非结构化的数据。其中,非结构化的数据,如图像、视频,占到 90% 以上的比例。这些数据虽然形式上是异构的,但语义上相互关联。跨媒体智能就是要在多元异构的大数据里进行分析、识别、检索和推理。

 

传统的人工智能 1.0 时代是基于单一媒体的分析与应用,人工智能 2.0 时代强调跨媒体源的采集、分析、检索和推理,即跨媒体智能。

 

跨媒体则面临着两大科学问题:语义鸿沟和异构鸿沟。语义鸿沟是指计算机的特征表示与人类所理解的语义概念不一致。异构鸿沟是指不同模态的数据的特征表示不一致。

 

跨媒体智能需要结合数据驱动与知识驱动。通过数据驱动的方法,挖掘大数据中潜在的模式与规律;通过知识驱动的跨媒体协同推理,降低跨媒体认知决策的不确定性。

 

彭教授指出,人工智能 2.0有七个主要任务:

1. 跨媒体统一表征的理论和模型

2. 跨媒体的关联、理解与挖掘

3. 跨媒体知识图谱的构建与学习

4. 跨媒体的知识演化和推理

5. 跨媒体的描述与生成

6. 跨媒体的智能搜索引擎

7. 跨媒体的智能应用

 

接下来,彭教授介绍了自己实验室的相关进展。研究的总体思路是:先做好单一媒体的分析与识别,再做跨媒体的分析和识别,最终落地到内容分析和数据应用,这些应用主要集中在互联网上。

 

首先介绍了团队在图像细分类领域的工作。从分类到细分类,比如从识别是鸟类到具体识别是鸟的哪一种子类,难度增长极大。难点在于类间差异小,而类内差异大,训练样本少,同类样本不相似等问题。现有的方法非常依赖于详尽的标注信息。

 

彭教授的团队提出了“弱监督深度图像细分类”的新研究方向,并在以下方面做了工作:

 

● 为了降低标注工作量,提出了空间拓扑的注意力学习方法、基于选择和生成的数据增广方法;

● 为了提高细分类的准确率,提出了多尺度堆叠式的深度强化学习方法;

● 为了提高细分类的速度,提出了多级注意力引导的快速辨识定位方法;

● 为了加速新增类别训练,提出了层次化的深度增量迁移学习方法;

● 提出多源语义嵌入的视觉表示方法,突破单源信息表示的局限性。

 

接着介绍了团队在跨媒体检索领域的工作。跨媒体检索即通过一种媒体作为查询,同时找到语义相关的其他媒体形式的内容。

 

彭教授展示了团队在以下方面所做的工作:

 

● 针对跨媒体的统一表征问题,提出了图规约共享语义空间映射方法,建立跨媒体统一关联超图模型;

● 针对深度跨媒体统一表征学习,提出了跨媒体生成式对抗网络;

● 针对深度跨媒体细粒度建模问题,提出了层叠式耦合关联学习方法;

● 针对细粒度局部关系建模,提出了视觉-语义关系注意力模型等;

● 针对视觉-语言之间信息不对等问题,提出了特定媒体语义空间映射模型;

● 针对视觉-语言信息的相互转换问题,提出了跨媒体双向翻译模型;

● 针对视觉-语言信息的相互生成问题,提出了跨媒体循环关联学习方法;

● 针对新增跨媒体数据的模型训练问题,提出了跨媒体终身学习方法;

● 针对新增未知数据的检索问题,提出零样本跨媒体对偶对抗学习方法;

● 针对有监督条件下哈希码鲁棒性问题,提出序列化多尺度特征哈希方法;

● 针对半监督条件下的哈希码生成问题,提出半监督跨媒体生成对抗哈希方法;

● 针对无监督条件下的哈希码生成问题,提出无监督跨媒体生成对抗哈希方法;

● 构建了大规模跨媒体数据集 PKUXMediaNet,具有 5 种媒体类型,数据集被国内外 50多个大学、科研院所、公司使用。

 

然后,彭教授介绍了在跨媒体描述与生成领域所做的工作,能够从图像/视频生成文本,也可以从文本生成图像/视频。

 

最后,彭教授介绍了跨媒体内容分析与识别系统、TRECVID视频样例搜索、鸟类、车辆细分类等跨媒体智能的应用成果。