面向移动终端的手语识别系统设计与实现

面向移动终端的手语识别系统设计与实现

敬思远^1，2※，马 伟¹，何 婧¹，谭奕灵¹，陈治合¹

［1. 乐山师范学院 电子信息与人工智能学院，四川 乐山 614000；

2. 特殊教育语言智能四川省哲学社会科学重点实验室(乐山师范学院)，四川 乐山 614000］

摘 要：针对当前市场上缺乏面向听障群体的无障碍辅助沟通系统的问题，该研究设计并实现了一种面向移动终端的手语识别系统.该系统采用“终端-云端”混合架构：移动终端负责采集手语视频，并通过轻量级预处理与数据压缩策略优化传输效率；云端部署基于残差网络(ResNet)与长短期记忆网络(LSTM)融合的深度学习模型，其中ResNet提取手语动作的空间特征，LSTM对连续多帧的时序关系进行建模，最终实现手语动作的时空特征联合学习.在NationalCSL-DP数据集上的实验结果表明，单个手语视频的平均识别时间约为1.8 s，识别准确率约为81%.该系统平衡了识别性能与移动终端资源约束，为听障碍人群提供了便捷的实时交互工具，在无障碍沟通、特殊教育等领域具有应用价值.

关键词：手语识别系统；卷积神经网络；循环神经网络；移动终端