【TRAE AI Passport 二创】飞书随身助手

我把 AI Passport 做成了一个「飞书随身助手」:连上网络、授权飞书应用后,用三个按键查看私聊和 @ 消息、听语音、回复表情,也能录音给应用机器人发消息。

这次想做的东西很直接:让这块随身小屏接进日常消息流,放在桌边时,也能帮我处理几条消息。

先看实际演示

视频里走的是一条真实的使用流程:进入应用、录音,识别未成功时保留原始录音,确认后改发语音,再到消息页查看和播放。中间的等待也保留了,方便大家判断现在的体验。

三个按键能做什么

看消息。 私聊和 @ 消息按会话整理,能翻历史、看正文,也有时间和未读提示。群聊显示群名称,私聊显示对方名称;上下选择,OK 逐层打开,长按 OK 逐层返回。

录音发消息。 在应用主页长按 DOWN 进入语音对话,OK 开始录音,再按一次停止。语音识别可用时,先预览文字再确认发送;识别失败时,录音还在,可以确认改发语音。机器人是否回复,取决于所选应用有没有接入回复服务。

听语音、回表情。 语音详情按 OK 播放或停止,播放时用 UP/DOWN 调音量,每次 10%。长按 UP 可以选 OK、OneSecond、点赞或 Get;再次选择自己已添加的表情,就能撤回。

多个飞书应用可以分别授权、切换,消息按应用和用户身份区分。界面用了偏深色的蓝紫配色,尽量把位置留给消息内容。

语音功能的调试过程

这个项目是一边和 AI 编程助手沟通,一边上机测试做出来的。需求从授权、收件,逐渐加到会话历史、语音和表情。也遇到过几次编译通过、实际操作却出错的情况。

有一次,语音明明提示播放完成,实际却一点声音都没有。排查后发现,解码和音频写入都成功了,漏掉的是输出音量设置,默认值还是 0。补上之后,才听到了声音,后来又加了按键调音量。

另一次更折腾:录音已经保留,准备发送语音时却报内存不足。当时总空闲还有约 62 KB,但最大连续块只有 22,528 字节,编码器需要约 24,524 字节。后来把不需要的整份界面快照改成小对象,复用已有文本区,并在编码前释放可重新获取的网络缓存,实机才成功编码了一段 4.8 秒的录音。

这件事也影响了最后的交互:录音、识别、编码和上传按顺序走;确认之前不发送;发送成功后,旧的识别失败提示要清掉。小屏幕上多留一句重复的话,都会挤掉消息内容。

代码已经开源,可以继续一起改

第一次使用需要配网,并用飞书扫码完成应用授权。权限说明已经放进 README:个人收件依赖用户授权,语音识别和发送也会受账号、应用及组织策略限制。

目前个人收件采用约 10 秒一轮的搜索补查,网络慢时会更晚;复杂卡片也还做不到完整展示。社区玩法已发布,可以从上面的玩法入口查看和安装,代码也已同步到 GitHub。

接下来想继续改善网络等待和卡片正文的体验。也欢迎大家提点实际场景:如果桌边有这样一块能收飞书消息的小屏,你最想用它完成哪一个操作?

3 个赞

看起来有点意思

2 个赞

我去,还有飞书联动。

3 个赞