清华大学学报(自然科学版)

作者：逯波, 段晓东, 袁野

单位：1. 大连民族大学 大数据应用技术国家民委重点实验室, 大连 116600;<br>2. 北京理工大学 计算机科学与技术学院, 北京 100081

关键词：深度跨模态Hash,对抗学习,语义Hash,跨模态注意力机制

基金：段晓东,教授,

在跨模态媒体检索任务中,如何最大化保持异构媒体数据映射后的语义关联成为跨模态Hash的关键问题,该文提出一种基于自监督学习的深度语义保持Hash网络框架用于生成紧凑的Hash编码。首先,针对图像和文本数据,分别训练2个单一模态的深度Hash网络并生成高层语义特征及各自的Hash编码。同时,利用跨模态注意力机制度量不同模态高层语义特征之间的相似性,最大化异构媒体数据间的局部语义关联性。其次,利用训练数据的多标签语义信息建立深度语义Hash网络,并以自监督对抗学习的方式同时监督指导2个单一模态的深度Hash网络的训练过程,从而在全局角度保持不同模态数据之间的语义关联,提高生成Hash编码的区分能力。最后,在3个被广泛使用的大规模多模态媒体数据集上验证了提出框架的有效性。

来源：2022年第9期

《清华大学学报(自然科学版)》期刊编辑部

查看清华大学学报(自然科学版)杂志2022年第9期