【硬件交互赛道】+AI实景拓词智能学习眼镜

1. Demo 简介

是什么: AI实景拓词智能学习眼镜是一款结合 第一视角视觉识别与实时语音评测 的软硬协同学习系统。它通过眼镜端的摄像头捕捉用户真实视野,智能生成场景词汇与例句,并通过内置麦克风与耳机完成跟读与发音评测。

面向谁: 苦于“哑巴英语”、缺乏真实语言环境,希望在日常生活中彻底解放双手、随时随地沉浸式提升词汇量和口语表达能力的学生及职场人士。

主要功能:

  1. 第一视角 AI 识物生词 :通过智能眼镜摄像头,以用户第一视角(POV)智能识别视野中的实物(如办公桌、咖啡杯),并在软件端动态生成场景关联的英文单词与实用例句。
    眼镜腿上有摄像头模组,眼镜片上有显示模组


    带上眼镜后,用户看到的画面

  2. 软硬协同语音评测 :利用眼镜端麦克风实时采集用户的跟读语音,通过软件系统进行多维度发音打分,并通过音频反馈结果。

  3. 沉浸式场景图鉴 :打破传统背单词模式,发音达标即可解锁现实生活中的新物品或新场景,将真实世界变成探索式的“英语图鉴”。

2. Demo 创作思路

灵感来源: 传统的英语学习往往脱离实际生活,且重度依赖手机屏幕,存在强烈的“割裂感”。我发现,当人们身处真实场景,看到具体物品并即时学习其英文表达时,大脑的“情景记忆”最为深刻。因此,我想到利用智能眼镜这种最自然的穿戴设备,把我们目光所及的物理世界直接变成英语教材。

想解决的问题:

  1. 缺乏语言环境 :国内学习者很难拥有“指物认名”的纯英语对话环境。
  2. 设备交互繁琐 :掏出手机查单词打断了生活心流,无法做到“所见即所学”。
  3. 反馈机制枯燥 :背单词缺乏即时成就感,难以长期坚持。
    为什么做这个方向: 随着多模态大模型技术的成熟,让智能硬件“看懂世界”并“听懂发音”成为可能。我选择硬件交互赛道,是因为它能 以不同于现有 App 的突破性方式(创新性) 回应用户需求。通过 TRAE 的辅助,我成功打通了 硬件摄像头推流 → AI 图像识别 → 麦克风音频采集 → 语音评测反馈 的关键路径,验证了软硬件协同的 落地可行性(实用性) 。

3. Demo 体验地址

抖音:4.17 Z@z.tR HII:/ 08/11 :9pm AI实景拓词智能学习眼镜 把真实世界变成你的第一视角英语课本 https://v.douyin.com/GfzZgWfZiPA/ 复制此链接,打开Dou音搜索,直接观看视频!

4. TRAE 实践过程

步骤一:需求探索与产品逻辑定型

开发过程回顾: 项目初期,需求仅为宽泛的“AIUI眼镜智能体”。通过与 TRAE 进行多轮头脑风暴,依次评估了多个业务场景后,我们确立了“无需手部操作、不打断当前状态的动作级 HUD”的核心概念。随后,明确了具体产品形态:定时自动拍照调用 AI 识别现实环境物品,生成中英双语词汇,用户通过“点头”或“摇头”进行沉浸式学习。TRAE 在这一阶段帮助梳理了完整的状态机流转方案并生成了初版架构代码。

  • 关键任务对话 Session ID : .7591414773471020052:44c948fe3480a214ee713f71a2cc22d1_6a2cf924c2b6eb0cdf05dd94.6a2e026dc2b6eb0cdf05dec1.6a2e026dd46059bd84c9b207:Trae.T(2026/6/14 09:22:53)
  • 开发关键步骤截图 1 :

步骤二:真机硬件联调与底层 API 重构

开发过程回顾: 在核心逻辑跑通后,上真机测试遇到了严峻的底层兼容性问题:设备提示“陀螺仪未启动”且语音识别毫无反馈。面对没有调试日志的黑盒状态,TRAE 主动调用 aiui-dev 技能阅读了最新的官方接口文档( apis-device.md 和 apis-ai.md )。随后,TRAE 将旧版微信私有 API 彻底重构为标准的 Web EventTarget API(如 new Gyroscope() ),并增加了底层的 try-catch 容错机制,成功打通了眼镜硬件的传感器通信。

  • 关键任务对话 Session ID:.7591414773471020052:243b276c51efe19428e0c441f9478706_6a2cf924c2b6eb0cdf05dd94.6a2e155fc2b6eb0cdf05e01d.6a2e155fd46059bd84c9b214:Trae.T(2026/6/14 10:43:43)
  • 开发关键步骤截图 :

步骤三:界面视觉重构与交互反馈优化

开发过程回顾:为了让应用在 AR 眼镜端呈现更好的第一印象并提升用户的交互沉浸感,我们需要摆脱初期纯文本堆砌的简陋页面。利用 TRAE,我们对应用的介绍页进行了卡片化重构。我们去除了生硬的文本列表,引入了带有圆角和阴影的 intro-card 容器,同时运用了视觉发光效果(text-shadow)强化了应用标题。

更关键的是,为了让功能说明更加直观,我们在 TRAE 的辅助下实现了“图标化特征列表”。将长篇的文字说明拆解为带有 Emoji 图标和独立背景框的区块,并将单调的提示文字升级为带有悬浮感和过渡动画的实心绿色“胶囊”按钮。同时,在优化界面的过程中,我们顺手修复了底层相机 takePhoto API 的 hidePreview 属性,彻底根除了拍照时系统底层预览画面的闪烁干扰,实现了真正的无缝视觉体验。

  • 关键任务对话 Session ID:.7591414773471020052:32cb6c2968af4bcfea9d7cfa453b9050_6a2e36c2c2b6eb0cdf05e1f9.6a2e4471c2b6eb0cdf05e263.6a2e4471d46059bd84c9b22a:Trae.T(2026/6/14 14:04:33)
  • 开发关键步骤截图 :

5. 对应的报名审核通过的帖子链接

【社会服务赛道】CareBridge:让每一代女性,无论处于哪个年龄阶段,在低资源环境里都能获得持续的健康照护
【学习工作赛道】I+1 Quest —— 基于 I+1 语言学习理论的开放故事冒险英语学习游戏
AI模拟炒股量化交易平台 — AI主动决策交易,模型测试与验证平台
【生活娱乐赛道】Luna 女性亲密装备推荐助手 Demo
【社会服务赛道+社会公益】智读古籍——从一句"我要参赛"到能和孔子对话的AI古籍智慧伴侣(可在线体验)
AI“情绪万花筒”是一个面向青少年的匿名心灵树洞,用 AI 即时陪伴、树洞广场、共鸣支持和真人专业支持,帮助他们更安全、更低门槛地表达情绪并获得必要帮助。
【学习工作赛道】(可直接使用成熟组件)AC范式组件:让 TRAE 拥有 100+ 小时连续协同能力的增强引擎(TRAE特调AC范式组件)
【社会服务赛道】+暖伴儿女**
【生活娱乐赛道】人生说明书
【学习工作】AI 面试助手:实时屏幕语音获取,让每一次面试练习都更接近真实现场
【社会服务赛道】【社会公益赛道】心镜三维 —— 正念 · 抑郁 · 自闭「三维一体」心理在线评估系统 Demo
【社会服务赛道】DPU·需求势能引擎:让AI通过12维需求分析,读懂你话语背后的真实意思(含人格模拟|装逼检测|智能对话分析)
【社会服务、社会公益赛道】「非遗新韵 · 锦绣中华」——为非遗文化焕发新的光彩!
【生活娱乐赛道】江湖论剑——你定门派、AI 写心法脚本替你打的水墨武侠对战
【学习工作赛道】BioQuest:一个高一竞赛生用 TRAE 造的生物学习站,可在线体验!纯前端无后端,AI 连 6 家大模型
【学习工作赛道】ClipFlow(已开源)奶奶每天复制粘贴搞到崩溃,我没忍住,让TRAE帮做了个“一键投喂AI”的插件,全村人都来借电脑用
【学习工作赛道】古风漫剧风单词助手(这一次!你一定要过四级!) - 《古风漫剧精准单词语义图片》X《丰富剧情》助力你学习英语!
【生活娱乐赛道】下厨房——菜谱教程分享
【生活娱乐赛道】你的爱播出道啦!——欢迎来看风格酷酷的首页
「爱能助」——以小爱助大爱,以小爱成就大爱
【社会服务赛道】街头FDE · 初赛Demo
【学习工作赛道】Ogden 850 Demo——最低成本快速学英语
【社会服务赛道】老人沟通转化器Demo——用AI把"正常话"变成老人听得懂的指令
【生活娱乐赛道】衍境 Demo:EvoMap 驱动的互动影游智能体创作系统

功能倒是可以的,但是长时间的学习不知道戴眼镜这种方式来合不合适

1 个赞

感谢对功能的认可。这眼镜重量上也只是比普通眼镜重一点,可以当作是普通的眼睛佩戴,久戴不会有什么不适感。不过也和手机电脑一样,毕竟电子产品。太久也对眼睛不好

1 个赞

说的在理,这个好像是识别物品来学习单词,我觉得可以加自定义单词学习的,也是存在这种场景的。

1 个赞

点子不错的 识别

1 个赞

已投,已支持,很优秀的创意

1 个赞

牛,,,,好像有google眼镜,千问眼镜,但你可以打下沉市场,垂直领域

1 个赞

随时随地点头摇头是不是有点诡异…如果可以换成眨眼之类的小幅动作是不是更好一点,整体感觉挺新颖的。如果识别背景是绿色的,绿色的文字很难看清,可以考虑自适应?

1 个赞