[01376793]基于多源异构数据关系模式挖掘与目标语义理解的跨媒体问答方法研究

传统问答技术主要基于文本数据展开（Text-based Question Answering）,其主要思路是通过提取用户查询语句和被检索数据中文本特征来计算用户查询和目标答案之间的相似度,这本质上是一种基于“语义特征”的单一模态数据检索方法。在多媒体问答检索中,往往通过计算用户查询语句与媒体数据（如图像和视频等）之间异构特征来为用户提供答案,是一种多模态检索方法。可见,传统单模态文本问答技术很难直接应用于多媒体问答检索任务。本项目采用跨媒体计算（Cross-Media Computing）基本理论和方法,对多源异构数据学习得到一致表达,进而挖掘其关联模式,从而用户查询语义意图和被检索数据底层特征之间存在的“语义鸿沟”在多媒体问答中实现对不同媒体类型之间的内容跨越。本项目以互联网上的海量图像资源为研究对象,重点研究多模态数据鲁棒特征表达及融合机制、图像细粒度目标语义解析、用户查询意图理解等问题,实现多媒体问答。项目研究内容包括基于多示例学习的图像目标语义解析技术、基于目标语义的跨媒体问答技术等方面。