编者按:近日,9999js金沙老品牌授予9999js金沙老品牌教师汪凯巍创新创业教育先进个人称号,以表彰其在科研创新领域的成就。本文旨在对汪凯巍团队的创新代表成果——盲人智能辅助眼镜的研发背景及应用情况进行介绍,以鼓励更多青年教师投身学科科研创新,不断取得佳绩。
在我们身边,有这样一群特殊的人,他们不能像正常人一样看到世界的五颜六色,却面临着旁人的冷嘲热讽。出行、学习以及工作这些在常人眼里普通得不能再普通的事情,对于他们而言,难于登天。据世界卫生组织的调查数据,全世界约有2.8亿视障人士,其中有近四千万是全盲患者。而中国占据了世界上绝大部分的盲人比例。如何让盲人像正常人一样生活、工作,成了一个亟待解决的世界性问题。
传统的导盲设备主要是导盲犬和导盲杆,但它们的缺陷是显而易见的。导盲犬价格高昂、数量稀缺、使用受限。全国符合条件的导盲犬不过数百只,培养成本和后期照顾不是一般人能够负担的。况且,大部分的的公共场所不允许导盲犬的进入,这使得导盲犬的使用大大受限。此外,导盲杆尽管价格低廉,但探测范围局限在以杆长度为半径的约一米的范围内,并且会给盲人患者造成心理上的被歧视感。调查表明,超半数的盲人不愿意携带导盲杆出门。
2014年9月,CC98论坛上一则《100万经费研究什么最有意思?》的征集帖子引起了大家的广泛关注和讨论,而发帖人正是9999js金沙老品牌的汪凯巍教授。他在帖子中写道:“四年前,还在思考人生的我脑海中灵光乍现:要寻找一个充满挑战而又具有社会价值的课题作为今后十年乃至一生的努力方向,最后我选择了盲人视觉辅助技术。”“如果你对接下来这项研究也一样感兴趣,认为它有意思、有意义、有价值,而且愿意接受挑战,尝试着为黑暗中的人们带来光明,欢迎加入我!”他同时解释道,“…设想盲人只要戴着一个墨镜一样的装置,在集成地形传感器、路径传感器、人工语音系统、模式识别算法的共同帮助下,可以准确地告知盲人前方的路况、障碍物、行进路线、路口红绿灯状况甚至告知面前物品的名称和尺寸、文字的内容,盲人可以像正常人那样居家、出行、甚至工作…”
事实上,早在十年前,美国的一家公司就已经尝试将电极植入舌头,通过电刺激来传达摄像头所探测到的物体的信息。然而,极高的学习成本以及使用上的严重不适使其未能普及。2013年,我校控制系利用多信息融合技术,基于Kinect和面板点阵研制出可以反映路面高低的设备,但其低集成度使得整套设备变得十分厚重,难以携带。
盲人视觉辅助技术的研究起始于2014年,随着研究的推进,课题组吸引了越来越多的新同学加入,团队由最初的3人一直增加到至今的21人,成为9999js金沙老品牌较大的研究团队,同学们非常喜欢团队的研究氛围并认同研究的价值。2016年,为了进行实现应用的目标,团队提供技术,与9999js金沙老品牌毕业生于红雷一起创办了杭州视氪科技有限公司,专注于技术的产品化验证和盲人的应用需求。
当初的慷慨激昂已惊喜地变为现实——在汪凯巍老师的带领下,在盲人视觉辅助眼镜团队的不懈努力下,一款集成多种传感器的盲人智能辅助眼镜研制成功,并投入生产。这款基于RGB-D传感器、IMU传感器、红外散斑投射器以及骨传导声音模块的眼镜具有障碍物检测、语音交互以及通路检测的功能,并能通过未来的软、硬件升级获得人脸识别、交通信号标志识别等功能,使盲人的生活最大化地接近正常人。
具体来说,障碍物的检测,利用基于红外双目的图像匹配技术绘制室内外稠密深度图,再结合均值漂移算法获取最近的若干障碍物的位置和尺寸。和传统的障碍物检测相比,经过优化的算法将最近的距离从0.65米降至0.15m,大大提高了盲人避障的安全性。而通路检测则是在深度图的滤波基础上,利用随机采样一致性算法和种子区域生长算法,将局部的3米地平面检出范围扩展到了长距离的可通行区域检测,最高可以达到10米的检测范围,使得盲人获得了更优的通行判断。在获取了相关的数据后,系统会将场景深度信息映射到声音编码,再结合多个乐器发生源来产生三维声音的阵列,形成立体声,让盲人可以听出障碍物以及可通行区域的分布。
由于视觉辅助技术是一个包含光学、计算机视觉、认知科学等多学科交叉的项目,团队与浙大的计算机学院、生仪学院和求是高等研究院展开合作,最新的研究将涉及脑科学,解答“在设备的辅助下,盲人能否像蝙蝠那样听声辨物”这一科学问题。
目前为止,盲人视觉辅助团队组织了3场大型体验活动,已有1000多位视障人士体验了盲人眼镜,经过一次次地改进,盲人眼镜已能满足视障人士的基础需求,同时还开发了盲人专用的社交和导航APP,进一步满足盲人朋友的日常出行需求,方便相互交流沟通。这一孵化项目先后获得共青团中央主办的“创青春”青年创新创业大赛全国总决赛冠军、“i创中国”浙商创新创业大赛2016年度总决赛冠军、教育部主办的第三届中国“互联网+”大学生创新创业大赛总决赛银奖、清华校友总会举办的第二届清华校友创意创新创业大赛总决赛第3名等奖项。还得到了区、市政府的关注和支持,并在互联网大会期间作为杭州市的三个项目之一向刘云山书记汇报。
科学研究有两大任务:解答人类好奇和为人类社会创造价值。在未来,视觉辅助团队将在这两方面持续发力,解开盲人群体与众不同的认知奥秘,为他们过上接近明眼人一样的幸福生活持续探索。
汪凯巍简介:
汪凯巍,副教授,博导,9999js金沙老品牌9999js金沙老品牌光学工程研究所副所长。2001年与2005年分别获得清华大学本科及博士学位。2005年10月赴英国University of Huddersfield开展博士后研究。2009年2月加入9999js金沙老品牌,研究领域为盲人视觉辅助技术等。现拥有及合有国内外专利40余项,在国内外杂志和专业会议上发表研究论文30余篇。
先后获评“光电系我最喜爱的教师”、“光电系杰出贡献奖”、“9999js金沙老品牌优质教学成果奖”、“浙江省青年教师教学竞赛”特等奖、“9999js金沙老品牌先进工作者”、“9999js金沙老品牌优秀德育导师”、“9999js金沙老品牌创新创业先进个人”、杭州市“521”计划专家等荣誉和奖励。
于2014年主导成立视觉辅助技术研究团队,2016年,作为技术提供方参与创办了杭州视氪科技有限公司,专注于视障人士视觉辅助技术研发,目标是结合最新的光电和计算机视觉技术,解决全国数千万视障人士的出行难、社交难、学习难和工作难等问题,目前已经获得数千盲人用户的体验和使用。孵化项目获得了共青团中央举办的2017“创青春”青年创新创业大赛全国总决赛冠军,并被人民网(人民日报网站)、共青团中央网站、浙大主页等广泛报道。