湖南先进传感与信息技术创新研究院在智能可穿戴手语识别设备领域取得重要进展

MK体育官网湖南先进传感创新研究院 2023-08-22 10:59

近日，湖南先进传感与信息技术创新研究院的胡又凡团队在纳米材料领域国际著名期刊《纳米能源》（Nano Energy，IF=17.6）发表了题为“A wearable system for sign language recognition enabled by a convolutional neural network”的文章。论文第一作者为研究院2020级研究生刘宇轩，MK体育官网湖南先进传感与信息技术创新研究院为文章的第一单位。

新型可穿戴设备在各种应用领域中受到了广泛关注，如人体运动监测，医疗监测，和人机交互等等。其中，可穿戴手语识别设备是一重要的新兴研究方向，其对于消除手语使用人群和非手语使用人群之间的交流障碍具有重要意义。由于手语是一种结构复杂的语言，涉及连续和动态的各种手势，因此实现高鲁棒性的手语识别是一个巨大的挑战。针对这一挑战，该团队提出了一种由卷积神经网络（CNN）实现的可穿戴手语识别系统，该系统集成了可拉伸应变传感器和惯性测量单元，以感知手的姿势和运动轨迹（图1）。该成果中提出的可拉伸应变传感器十分轻薄，可直接贴附于人体表面，具有良好的线性度（R2>0.998）、足够的灵敏度（GF=4）、快速响应时间（小于200 ms）、良好的稳定性和高耐久性。

图1 手语识别系统的3D示意图、实物图以及系统框图

此外，该成果收集了48个日常生活中常用的汉语手语单词的样本用于训练CNN模型，预训练的CNN模型对于孤立手语单词的识别准确率达到95.85%（图2a）。针于手语句子的识别，该成果提出了一种融合多滑动窗口，并使用相关性分析结合CNN来提高正确率的方法，该方法可在不需要对句子样本进行额外训练的情况下实现手语句子的识别，识别的正确率可高达84%（图2b）。与以往的可穿戴手语识别系统相比，该方法在句子识别方面更具优势，对训练数据集之外的新句子有更好的扩展性。论文得到国家重点研发计划的资助。

图2 对汉语手语单词和句子的识别

湖南先进传感与信息技术创新研究院成立于2018年，由MK体育官网与北京大学合作共建，是集人才培养、科学研究、技术开发、成果转移转化于一体，治理结构完善、运行机制灵活、有别于现有机构的“实验区”。研究院团队由中国科学院彭练矛院士领衔，包括国家优青、青年拔尖人才、青年千人等在内的11名学术带头人、5名教授、2名副教授、12位优秀博士、14名实验室工程技术人员、100余名博士及硕士研究生。围绕碳基集成电路和新型传感器为代表的新一代信息技术领域，团队在唐氏综合症筛查、肝癌检测、无创血糖监测等生物传感和甲烷、氢气、甲醛等气体传感器件及其相关技术方面取得重要成果，并已研制全球首条碳基传感芯片示范线，推进相关核心技术产业化。