指尖有声!手语转文字系统,让无声世界被听见

我之前直接拿 H5 跑过一个,用摄像头直接识别,算法用的 github 上开源的,可以录入手势,我看你这个示例都比较简单,有复杂手语的识别演示视频或者截图吗?比如完整的一句话?
下面这个是我跑着玩的,你看看大概的意思

1 个赞

确实,复杂手语的时序识别是核心难点,我现在的方案在单手势、高频常用短句上已经做到了稳定识别,长句/复杂手语的准确率还在通过数据集和模型结构持续优化,目前还在测试阶段

1 个赞

我做这个项目,先是把开发环境搭好,装了 Flutter 和 Python,配好环境变量,把 Windows 平台需要的依赖都准备齐全。

然后用 Flutter 新建项目,做了前端界面,实现了调用电脑摄像头的基本功能。后端我用 Python 写了本地服务,主要负责前后端的数据交互,方便后续把识别结果展示出来。

开发的时候,很多命令、脚本还有报错我都不太熟悉,SOLO 给了我很实用的提示,还有能直接用的代码,帮我省了不少查资料和踩坑的时间。

之后就一步步调试,先在电脑上测试服务能不能正常运行,再不断优化摄像头调用和界面交互,最后完成打包,做出了一个可以在电脑上运行的手语识别小系统。

整体从搭环境、建项目、写前后端,到调试测试再到打包,流程都很完整。有 SOLO 帮忙,整个过程比我自己摸索顺利多了,也让我顺利把这个项目完整做了出来

1 个赞

太厉害了!!!!!强烈支持你铁子!

1 个赞

现在到哪一步了?

1 个赞

有没有试试连续手语的准确率

1 个赞

感谢支持感谢支持

1 个赞

现在打算接个ai试试效果

1 个赞

后续我会接入ai来提高手语的识别效果的,感谢支持

1 个赞

再次感谢各位的支持,发布到现在已经收到了很多trae友的私信,对我的作品表示感兴趣,我真的非常感谢各位,我也没想到点赞量会这么多,会有这么多人私信我支持我,再次感谢各位的支持,我目前还是一名大连电子软件专业高三的学生,知识量比较有限,欢迎各位一起探讨交流

2 个赞

感谢你让世界变得更美好

1 个赞

这是用的开源识别模型还是作者自己训练的,感觉特别厉害!

1 个赞

“让无声世界被听见”这句话太棒了。你关注的是听障人士,我关注的是言语障碍者他们能听见但说不出来。我做的KineTap是一个一键发声工具,171个离线话术覆盖日常场景。觉得咱们都是在做同一件事-让被忽视的声音被听见。欢迎来我帖子看看,交流一下!

1 个赞