[01188646]基于双目视觉的盲人导盲系统

本项目所搭建的智能导盲系统旨在实现盲人出行无障碍、社交无障碍、信息无障碍,提高盲人的生活自理水平。系统包括导航避障模块、图像识别模块、语音模块、CPU。其中,图像识别模块包括人脸识别和物体识别两部分的功能。 出行无障碍 为实现出行无障碍,需要导航避障模块和图像识别模块中的物体识别-交通标识识别功能。我们通过SLAM技术建立离线的三维地图。当用户发出带有目的地信息的语音信息时,语音模块将语音信号转换为指令输入导航避障模块。接着,该模块将调用建立好的离线地图进行路径规划,为用户找到一条可供通行的路线并实时更新用户位置坐标。通过双目相机输入的RGB-D图像将进行障碍物检测,同时通过RGB图像识别交通标识（包括红绿灯、斑马线、盲道等）。结合障碍物尺寸大小、障碍物位置及交通标识信息,计算得到局部避障方案。若无法获得局部避障方案,则返回上一部重新进行路径规划。整个导航避障过程得到的信息与其他信息将通过CPU整合后通过语音模块反馈给用户 社交无障碍 盲人由于视力的缺失,缺少快速准备确定人的身份、情绪等信息,然而这是社交场景中非常重要的两个信息。实现社交无障碍的关键是图像识别模块中人脸识别功能。该功能主要用于检测两种信息——身份信息和表情信息。我们通过双目相机系统捕捉的RGB图像检测人脸的性别、年龄等身份特征,与用户先前建立的社交关系库进行匹配。若存在匹配,则检测匹配对象的表情,并与其他信息CPU整合调配后通过语音模块反馈给用户匹配对象的身份信息、表情信息及位置信息;若不存在匹配则不做反馈。例如：检测到用户前方存在人脸与用户社交关系库中李xx信息匹配,接着检测其表情信息为开心,并通过彩色图像坐标和深度图像的坐标转换得到该匹配对象与用户的相对位置信息,通过语音模块反馈给用户：在您的左前方xx米有您的朋友李xx,他看起来很开心。 信息无障碍 我们的系统向用户提供了多种有用的信息,包括了由导航避障模块提供的路径规划信息（导航信息）、局部避障信息、位置坐标信息;由图像识别模块提供的人脸信息（包括身份信息和表情信息）,物体信息（交通标识信息、钱币信息、商品信息）。这些信息可以在用户出行、社交、购物等生活场景中提供帮助。此外,我们系统的信息协调分发机制,保证信息能够准确、及时、有序的进行处理,并通过语音的形式反馈给用户,使用户能够接收信息无障碍。