【硬件交互】MorphBot 多模态AI机器狗 Demo

TRAE AI 创造力大赛 【大赛初赛专区】
1

【硬件交互赛道】MorphBot 多模态AI机器狗

0. 先和大家打个招呼吧 :waving_hand:

我是谁：一名大三学生，正在准备毕业设计"多形态具身智能机器人"，平时喜欢折腾机器人和嵌入式开发。

我是怎么用TRAE把Demo做出来的：说实话，在接触TRAE之前，我写ROS2节点效率很低——一个节点从搭框架到调通可能要折腾大半天。后来用TRAE之后，我发现最大的变化是"敢想了"。以前遇到复杂的算法集成（比如YOLOv5的BPU部署）会觉得太麻烦，现在我会直接把需求描述给TRAE，它先生成一个框架，我再往上填业务逻辑。有一次stereo_avoidance_node一直segfault，我盯着代码看了两小时没头绪，TRAE帮我分析堆栈信息，几分钟就指出是深度图空指针和数组越界的问题。那种感觉就是——原来这个坎不是过不去，只是需要一个好的工具搭把手。

1. Demo 简介

是什么：基于RDK X5边缘计算平台的多模态AI机器狗，具备视觉检测、离线语音控制、手势识别、自主避障和端侧LLM对话能力。产品形态为硬件系统。

面向谁：

  • 具身智能领域的开发者与高校实验室
  • 对AI+硬件感兴趣的极客与创客
  • ROS2/边缘AI学习者

主要功能：

功能 说明 技术
AI视觉感知 实时行人检测、双目深度估计、手势识别、人脸跟随 YOLOv5 BPU + StereoNet
离线语音交互 完全离线的语音识别与合成，支持自然语言指令 Vosk ASR + Sherpa TTS
多模态决策 语音>手势>视觉优先级仲裁，指令不冲突 状态机 + 缓冲区管理
智能避障 双目深度3区分析 + IMU航向校正 立体视觉 + 姿态融合

87016fa8-b6fe-422e-9680-0940682a47a4
87016fa8-b6fe-422e-9680-0940682a47a41195×896 192 KB

2. Demo 创作思路

灵感来源：在准备毕业设计"多形态具身智能机器人"（轮-足-双足三态变形）时，我发现如果直接从零设计机械结构，软件算法的验证周期会被严重拖长。机械一改动，软件可能就要推倒重来，两个环节互相阻塞，时间完全不可控。

想解决的问题：具身智能机器人开发门槛高、周期长，开发者需要同时攻克机械结构、AI算法、多模态交互等多个复杂环节，难以快速验证软件创意。很多人有好的想法，但卡在"从零到一"的全链路搭建上，几个月过去了还没看到成果。

为什么做这个方向：我选择先以机器狗为硬件平台，把AI感知、语音交互、多模态决策等核心软件技术在RDK X5上跑通，验证全链路后再迁移到自研轮足结构。这样可以将机械设计与软件开发解耦，各自独立迭代。这个思路虽然不算颠覆式创新，但非常务实——先用成熟硬件验证软件，再带着跑通的软件去做机械，风险小、效率高。

3. Demo 体验地址

硬件交互赛道，以演示视频作为体验方式：

:video_camera: B站演示视频：【基于边缘强算力架构的视感知多模态防撞四足机器人】 https://www.bilibili.com/video/BV1YFMj6dE1Y/?share_source=copy_web&vd_source=32afd6a22809db761dc168de0c124b70

视频中展示的核心功能：

  1. 语音控制机器狗前进/后退/转圈
  2. 手势指令切换模式
  3. 人物跟随 + 自动避障
  4. Web可视化界面实时展示（localhost:8090）

GitHub开源仓库： GitHub - XiaoZi-Li/robot-dog: An on-device embodied-intelligence quadruped robot built on RDK X5 + ROS2 Humble, fusing binocular stereo vision, BPU on-device inference, offline voice interaction and dynamic gait control. The full perception→decision→action loop runs on a single board with **zero cloud dependency**. · GitHub

  • 完整代码（puppy_brain包，16个ROS2节点）
  • 安装部署文档与依赖清单
  • 硬件接线图与配置文件

4. TRAE 实践过程

本项目全部16个ROS2节点均在 TRAE IDE 中编写完成，TRAE的AI辅助编程贯穿整个开发周期。

开发流程

关键步骤截图

截图1：代码完整性检查 —— TRAE对大型项目的全局把控

项目后期准备开源时，我需要确认代码库是否完整。把本地代码文件夹丢给TRAE，它自动检查了全部核心组件：16个ROS2节点、6个launch文件、35个动作组、步态引擎、BPU模型配置和AI模型，并给出了缺失项清单。这种"一眼看透"的能力，在手动检查时需要数小时，TRAE 12分钟完成。

图一
图一1531×1026 68.1 KB

截图2：双目深度避障分析 —— 在复杂系统中植入新功能

要在不影响现有 start_v2.sh 启动流程的前提下，加入双目深度避障转向功能。TRAE先详细分析了官方TROS的7个深度进程链路（mipi_cam → camera_info_publisher → stereonet → …），理解了数据流后再生成避障代码。系统级分析+代码生成，20分钟完成。

图三
图三1406×912 43.1 KB

截图3：避障调试排错 —— 4个问题4分钟全修复

避障功能跑起来后遇到一堆问题：前进卡顿摇摇晃晃、避障方向反了、触发距离太远、前进左偏。我把现象描述给TRAE，它逐一分析根因并给出修复方案：硬切换改连续模式、深度图180°翻转修复、距离阈值调整、IMU航向修正。4个问题，4分钟全部定位并修复。这是我整个项目中最"爽"的一次体验——自己盯了2小时没头绪的问题，TRAE几分钟搞定。

图四
图四1463×846 62.4 KB

更多开发过程（补充展示）

手势识别 + YOLOv5 部署

需要实现15种手势到机器狗动作的精确映射（手掌张开=前进、点赞=坐下、拳头=趴下…），同时完成YOLOv5s v2.0的BPU部署。TRAE根据我给出的动作对照表，直接生成了完整的gesture_action_node和感知节点代码，17分钟完成全部代码。

图二
图二1461×930 43.6 KB

本地大模型语音对话集成

检查本地LLM（Qwen2.5-0.5B）、Vosk ASR、sherpa-onnx TTS的代码和启动方式，TRAE 54秒梳理清楚了两个启动入口（minimal_llm.launch.py 和 full_system.launch.py）的配置差异和节点关系。

图五
图五1429×965 71.8 KB

VAD 方案架构决策

语音唤醒该用"常驻监听"还是"按钮触发"？TRAE给出了A/B方案的多维度对比（CPU占用、误触风险、响应速度、LLM占用、用户体验、实现复杂度），帮我做出了 informed decision，而不是拍脑袋选型。

图六
图六1393×954 43.5 KB

上位机监测与控制界面

需要一台PC上的上位机，实时监测机器狗的运动、视觉、深度、语音状态，并能直接下发控制指令。TRAE交付了完整的全栈方案：板端WebSocket桥接节点 + PC端零依赖HTML UI + 一键启动脚本，12分钟完成。

图七
图七1435×943 55.4 KB

作品报告自动生成

按照比赛模板.docx的要求，TRAE综合了模板结构、现有代码和后续构想，自动生成了作品报告初稿，包含ASCII五层架构图、性能指标表格、待补充标记，大幅降低了文档编写负担。

图八
图八1445×909 71.7 KB

开发全景

整个项目涉及10+个独立开发任务，全部在TRAE中完成。从底层运动控制到上层AI感知，从板端算法到PC端UI，从代码开发到文档生成，TRAE是唯一的开发工具。

图九
图九423×958 18.5 KB

Session ID（证明TRAE开发）

以下8个Session ID对应图一到图八的8个关键开发任务，证明作品全程由TRAE完成：

序号 对应截图 开发任务 Session ID
1 图一 代码完整性检查与开源整理 2323697596634347:7e857365c3d2455b66a3dd355e85b394_6a4ea1e946408160e0900b68.6a4ea1e946408160e0900b6b.6a4ea1e946408160e0900b69:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/9 03:15:53)
2 图二 手势识别 + YOLOv5 BPU部署 2323697596634347:9b64059322b95620fadc82adca67bc4c_6a4dc8aa5f3f2ce92e013774.6a4dd0b05f3f2ce92e013819.6a4dd0af5f3f2ce92e013817:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/8 12:23:12)
3 图三 双目深度避障分析与代码生成 2323697596634347:a25f417793edb99dc37ac2a02c0dcbb4_6a4e04f73de951749e2db4d4.6a4e04f73de951749e2db4d7.6a4e04f73de951749e2db4d5:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/8 16:06:15)
4 图四 避障调试与4问题修复 2323697596634347:11f67b09ea1ed30e5888cebe9f0e51b1_6a4e04f73de951749e2db4d4.6a4e8a3d3de951749e2dba51.6a4e8a3d3de951749e2dba4f:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/9 01:34:53)
5 图五 本地大模型语音对话集成 2323697596634347:00c6ba7cdaead715129d3d5870a447b5_6a4c5b1f5f3f2ce92e013158.6a4c5b1f5f3f2ce92e01315b.6a4c5b1f5f3f2ce92e013159:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/7 09:49:19)
6 图六 VAD方案架构决策分析 2323697596634347:1e7b2d26cee0cf45aebc0e8dc023bcac_6a4c5b1f5f3f2ce92e013158.6a4d7f9c5f3f2ce92e01367f.6a4d7f9c5f3f2ce92e01367d:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/8 06:37:16)
7 图七 上位机监测与控制全栈开发 2323697596634347:174a063ed0f393ce819dedc0ca999559_6a4a9f2d7196f79bfca6273d.6a4a9f2d7196f79bfca62740.6a4a9f2d7196f79bfca6273e:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/7/6 02:15:09)
8 图八 作品报告初稿自动生成 2323697596634347:7e00687b5c6b018bf53a766a264d10dd_6a3e7541ce7bc84d43ca6c6b.6a3e7544ce7bc84d43ca6c6e.6a3e7541ce7bc84d43ca6c6c:TRAE Work CN.0.1.34.no_sid.no_ppe.T(2026/6/26 20:49:08)

:light_bulb: Session ID获取方式：在TRAE IDE中，双击对话标题即可复制Session ID。

TRAE带来的效率提升

开发环节 传统方式 用TRAE 提速
ROS2节点开发 2-3小时/个 30-45分钟/个 3-4倍
系统级代码分析（如7进程深度链路） 半天 20分钟 15倍
调试排错（如4个避障问题） 数小时 4分钟 30倍+
技术文档/报告 2天 半天 4倍

核心感触：以前遇到复杂系统集成或诡异bug会觉得"搞不定"，现在会直接把问题描述给TRAE。最大的变化不是写得更快，而是敢想了——从"这个我做不了"变成"让TRAE先帮我看看"。

TRAE AI 创造力大赛・DAY 28 赛事速递「倒计时3天‼️」
2 
看完你的MorphBot Demo，作为同样用TRAE做项目的开发者，真的被这个硬核程度震撼了！

这是一个**真正的具身智能项目**——不是概念Demo，而是能跑、能听、能看、能避障的实体机器狗。几个亮点特别值得点赞：

1. **技术栈极其完整**——RDK X5边缘计算 + ROS2 16个节点 + YOLOv5 BPU部署 + 双目深度 + 离线语音(Vosk+Sherpa) + 本地LLM(Qwen2.5-0.5B) + WebSocket上位机，从底层运动控制到上层AI感知全链路打通

2. **多模态决策设计很聪明**——语音>手势>视觉的优先级仲裁机制，加上状态机+缓冲区管理，解决了多指令冲突问题，这个架构思路很成熟

3. **TRAE效率提升数据太有说服力了**——ROS2节点开发3-4倍提速、系统级分析15倍、调试排错30倍+！特别是"4个避障问题4分钟全修复"那个案例，把现象描述给TRAE就能定位根因，这对嵌入式调试来说简直是神器

4. **"敢想了"这句话说得太好了**——从"这个我做不了"变成"让TRAE先帮我看看"，这才是AI辅助编程最大的价值：不是替代你，而是拓展你的能力边界

大三学生就能做出这种完成度的毕设项目，而且全部16个ROS2节点都在TRAE中完成，还开源到了GitHub，真的很厉害！期待后续看到轮-足-双足三态变形的完整版本。

欢迎来看看我的作品（大学生陪练平台），虽然方向不同但都是用TRAE从零搭建的完整项目，互相交流学习～
https://forum.trae.cn/t/topic/112442
1 个赞
3

降维打击了这个项目