Abstract
以往:根据微博文本信息推荐Hashtag
本文:多模态信息同时考虑+Attention机制
Introduction
以往:只使用文字有时无法准确定位微博的中心主题;部分研究简单地将文字和图片特征加以整合,
而事实上正确的hashtag只与文本和图象的部分内容相关联。
现在:加入Attention机制,文本、图像相互影响并指导对方特征的提取。一个兼顾文本和图像相互影响的共同关注网络。
之前的研究没有考虑图像对文本特征提取的指导意义。注意机制允许模型专注于视觉或文本输入的特定部分,并已成功用于各种多模式模型。在这项工作中,我们采用了从输入推文和图像中选择重要信息的机制。
Feature Extraction
Image feature extraction
首先将图片转换成224X224,再用16-layer VGGNet抽取特征,其中将图片分成NxN块区域每块区域获得512维的特征向量