[01832070]自然交互情感虚拟人研究与开发

本项研究运用最新的认知科学理论和计算机技术，建立虚拟人的感知模型，主要包括多通道视觉和听觉，以及多种感知信息的自动融合；建立虚拟人的学习模型和情感计算模型，情感模块与整个学习认知过程有机地结合成为一个整体；完成了基于上述模型的一个自然交互三维虚拟人原型系统。在三维情感虚拟人设计开发、虚拟人感知、虚拟人情感计算与表达、虚拟人认知与学习模型、统一行为建模等方面开展了深入研究，取得了创新性的成果：（1）三维虚拟人原型系统有机地结合计算机视觉、机器学习、计算机图形学的新成果，以自然人机交互为突破口，设计实现了一个具有典型中国人特征的、栩栩如生的三维情感虚拟人原型系统，具有非常高的逼真程度、较好的环境感知能力、一定程度的学习能力、中英文可视语音能力、以及独立产生情感的能力，在多个方面超越了世界著名的虚拟播音员Ananova。（2）先进的感知信息处理模型针对复杂的多模态感知信息，采用了先进的概率图模型及相应学习与推理算法，作为虚拟人感知信息处理中枢，实现了多模态环境感知信息的融合与一定程度上的理解，为自然和谐的人机交互奠定了基础。（3）虚拟人视觉感知虚拟人具有较强的视觉感知能力，能够在室内环境下实时跟踪视觉运动目标，实时分析识别交流者的脸部表情；在室外自然环境下也具备复杂动态背景的建模能力和一定的运动目标识别能力。（4）情感计算与表达与传统的单纯基于规则的情感计算模型不同，我们采用了与感知模型一致的概率图模型进行情感计算，做到与感知信息处理中枢无缝连接。全面综合多种内外部情绪影响因子，合理设计了虚拟人情绪空间，具备情感动态产生和情感学习能力。虚拟人情感的表达通过虚拟人脸部表情实时地实现。（5）虚拟人情感与行为融合建模设计实现了虚拟人统一的行为模型，基于该模型使得表现虚拟角色的情绪变化成为可能，从而可以创作一个生动的、具有行为真实感的虚拟场景。模型将集成虚拟角色自主感知、交互学习于一体，同时结合虚拟角色的行为规划、记忆模型，最终自主生成复杂社会中的情感行为。虚拟角色情感与行为融合建模是以已有的情绪化行为样例为基础，将高层的情感语义模型与底层的行为数据关联在一起，从而达到生成具有情感特征行为数据的目的。自然交互情感虚拟人技术是结合了情感计算、计算机视觉、语音处理与合成、虚拟现实等最新人机交互技术，其重点就是研究创建能够感知自然环境，在一定程度上识别、理解人类情感和自然交互信息的计算系统，该系统同时能够针对用户自然输入以逼真的三维虚拟人动画做出智能、友好的实时反应。自然人机交互将减少用户对键盘和鼠标的依赖，有效地改变目前计算机呆板的、受限的交互服务，提高人机交互的亲切感和准确性，大大减少人机之间的隔阂，从而营造真正和谐的人机环境。一个拥有自然交互能力、带有情绪的计算机系统能够有效帮助非专业用户减轻对计算机的恐惧感和挫败感，在使用时获得高效而又亲切的感觉。自然人机交互将使计算技术进一步向人类社会全面渗透，对人类未来的社会和日常生活产生深远的影响。自然交互情感虚拟人在电子商务、现代服务业、旅游会展、远程教育、动漫产业、新闻传媒等具有极其广泛的应用前景。网上购物站点在介绍商品时使用一个虚拟售货员，可以增加用户的购买欲和浏览时间；网络教育软件中在播放讲课音频的同时配以情感虚拟教师，可以做到随时随地授课；大型会展上的三维虚拟服务员可以结合虚拟现实技术不厌其烦地重复介绍会展产品；网络银行可以利用虚拟人随时提供个性化服务；电信语音服务系统能够在不干扰用户的情况下为用户朗读文本信息，大大降低现代人的工作量。除此以外，虚拟人在新闻播报、对话系统、虚拟主持人、虚拟会议、电影制作、游戏娱乐等领域都可获得广泛的应用。