SmartHome AI：一个真正打通“人、车、家”的跨品牌智能生态
让家理解人，让车融入家，让不同品牌与新旧设备在同一个智能中枢里协同工作。
一辆 Tesla、一台格力空调、一台海尔热水器、一台石头扫地机、若干米家设备、自己焊接的 ESP32，以及十年前还在使用遥控器的投影仪——它们看起来属于完全不同的世界，却可以在 SmartHome AI 中成为同一个家的成员。
SmartHome AI 不是又一个“万能遥控器”，而是在品牌和协议之上建立一层统一智能能力：
- 人通过 iPhone、Apple Watch、自然语言和个人状态表达需求；
- 车通过 Tesla Fleet API 成为可感知、可管理、可审计的移动空间；
- 家中的智能设备、自研硬件和传统家电通过 LocalBridge、MQTT 与 ESP32 被统一编排。
无论设备来自云端 API、局域网协议、BLE、MQTT 还是红外遥控，最终都可以进入同一个家庭视图、同一套成员权限、同一套场景与自动化引擎，以及同一条安全控制链路。
这套 Demo 展示的不只是“几台设备可以被控制”，而是一个跨品牌人—车—家生态从 0 到 1 的形成。
1. 一分钟看懂 Demo
| 项目 | 说明 |
|---|---|
| 产品形态 | iOS / Watch App + 云端服务 + 本地 AI 网关 + LocalBridge + ESP32 硬件 + WiFi CSI 感知网络 |
| 核心用户 | 已装修家庭、小型商铺、智能家居爱好者、重视隐私与本地化的用户，以及二次开发者 |
| 核心价值 | 连接人、车与整个家，统一多品牌设备，低成本改造存量设备，让个人、车辆和设备状态参与自动化，并进一步接入 CSI 空间状态 |
| 体验方式 | 项目涉及真实车辆、局域网设备、Apple Watch 和 ESP32 硬件，本次通过完整演示视频呈现 |
它和传统智能家居有什么不同？
| 传统智能家居 | SmartHome AI |
|---|---|
| 以单一品牌和设备为中心 | 以家庭成员和真实生活场景为中心 |
| 车、家、人分别存在于不同 App | 人、车、家共享统一身份、权限、状态与规则 |
| 旧设备受限于红外遥控器或 BLE 控制方式 | 通过 ESP32 学习红外 / BLE 命令后加入智能场景 |
| 自动化只看时间和单个传感器 | 已结合成员、睡眠、车辆和设备状态，并预留 CSI 空间状态接入 |
| 语音与感知高度依赖云端和摄像头 | 本地 AI 解析意图，WiFi CSI 探索无摄像头感知 |
SmartHome AI 希望完成的升级是：从“控制设备”走向“服务具体的人”，从“房间里的家”延伸到“出行中的车”。
2. Demo 演示视频
SmartHome AI 人—车—家完整 Demo
高清版视频链接：
通过网盘分享的文件：SmartHome_v8_完整版.mp4
链接: 百度网盘 请输入提取码 提取码: 4zbe
3. 从智能家居，到“人—车—家”生态
3.1 人：系统服务的不再是设备，而是具体的人
传统智能家居通常只知道“某盏灯开了”，却不知道这盏灯正在为谁服务。
SmartHome AI 建立了独立的 People Layer，将家庭成员作为系统中的一等对象。每位成员都可以拥有自己的角色、设备权限、在家 / 离家状态、房间状态、舒适温度、灯光偏好、睡眠偏好，以及回家、睡眠和离家场景。
自动化因此不再只能问“现在几点”，还可以判断：
- 谁在家，谁离开了家；
- 哪个房间有人，当前状态可信度如何；
- 成员当前位于哪个房间，是否正在进入相邻区域；
- 成员的位置、在家 / 离家状态、睡眠状态和活动状态，是否满足自动化触发条件。
- 成员希望执行哪一个回家或睡眠场景；
- 昨晚睡了多久、深睡和 REM 如何、是否已经醒来；
- 这个成员是否有权控制门锁、车辆或其他高风险设备。
系统已打通 Apple Watch、HealthKit、iPhone、People Layer 与自动化引擎之间的睡眠摘要链路。经用户授权后，iPhone 会读取健康 App 中由 Apple Watch 采集的睡眠数据，聚合为睡眠时长、深睡、REM、睡眠效率和醒来时间等摘要，再将“睡醒”“睡眠不足”“深睡偏低”等人体状态变成智能家居可以理解的自动化输入。
这意味着 SmartHome AI 的目标不再是“把所有灯关掉”，而是“为刚刚醒来的这个人，执行属于他的早安场景”。
在后续自动化设计中，家庭成员的位置与状态将不仅用于页面展示，还会成为场景和自动化的核心触发条件。成员进入房间、离开房间、从一个区域移动到另一个区域，或者由睡眠、静止转为活动，都可以触发对应的灯光、空调和其他设备动作。
用户可以开启“灯光跟随”功能。开启后，系统将结合成员位置、移动方向、房间状态和环境条件，让灯光随着成员的移动自动开启，并在成员离开后延迟关闭。随着 CSI 定位和状态判断能力进一步稳定，系统还可以根据成员正在接近的区域提前点亮下一处灯光，让照明从“人到了以后再亮”升级为“在人到达之前已经准备好”。
3.2 车：Tesla 不再是家庭之外的信息孤岛
SmartHome AI 已将 Tesla 中国区 Fleet API 纳入统一设备生态。车辆不再只存在于一个单独的汽车 App 中，而是作为 electric_vehicle 节点进入同一个家庭视图和权限体系。
平台可以统一展示和管理车辆在线状态、电量、续航、充电状态、锁车状态、哨兵模式、车内外温度和软件版本，并建立车辆唤醒、空调、充电等控制能力。Tesla 的充电完成状态也可以成为自动化触发条件，与家庭通知和其他设备联动。
车辆能力不是简单“搬进”智能家居，而是被纳入一套分级安全体系：
- 状态刷新、车辆唤醒等低风险操作走轻量链路；
- 空调和充电等操作需要更严格的权限与确认；
- 解锁、远程启动、前后备箱等高风险能力受到强制确认、一次性会话和审计保护；
- 高风险车辆命令不能被普通自动化规则绕过。
车由此成为家庭生态中的“移动空间”：它和房屋共享成员身份、安全策略、设备状态和自动化底座。
3.3 家：不同品牌、新旧设备终于可以共同工作
Home Layer 将 Tesla、Roborock、Gree、Haier、Xiaomi、BLE 传感器、自研 ESP32 和传统红外家电抽象为统一设备能力。
对于上层场景来说，设备来自厂商云、局域网协议、MQTT、BLE 还是红外并不重要。它们最终都被描述为“开关、亮度、温度、模式、位置、清扫、充电、红外按键、BLE 命令”等标准能力，可以由同一套 iOS / Watch 客户端控制，也可以被场景和自动化统一编排。
其中，ESP32-S3 学习型遥控模块解决了最现实的一类问题：它既可以学习空调、电视、投影仪和风扇等设备的红外遥控信号，也可以学习 BLE 控制命令，再将捕获到的命令保存为标准动作。用户无需淘汰原有设备，就能让传统红外设备和 BLE 设备一起进入今天的智能场景。
平台已经用统一的 LearnableRemoteDevice 模型承载红外与 BLE 命令的学习、测试、存储、绑定和执行，并为 RF 及更多协议驱动保留扩展空间。设备是否原生智能，不再决定它能否进入全屋生态。
人的操作 / 成员状态 / 睡眠摘要 / 自然语言 / 空间变化
↓
People Layer + Local AI + 场景与自动化引擎
↓
Cloud 权限、安全、影子与审计
↓
Tesla Worker / LocalBridge / MQTT / ESP32
↓
车辆 + 智能设备 + 传统家电
↓
状态回传与实时反馈
3.4 可持续：让旧设备继续使用，让自动化减少无效能耗
SmartHome AI 的环保价值并不是额外增加一个独立的“绿色功能”，而是来自系统本身的产品路线：优先保留仍然能够正常使用的设备，通过增量改造补充智能能力，并通过更准确的自动化减少无效运行。
首先，系统通过 ESP32-S3 红外 / BLE 学习模块和 LocalBridge，为传统空调、电视、投影仪、风扇等存量设备补充联网、远程控制和场景联动能力。用户不需要为了进入某个智能家居生态而一次性更换整套设备，也不需要破坏原有装修。仍然能够正常工作的家电可以继续使用，从而延长设备生命周期，减少因功能升级而提前淘汰设备所产生的资源浪费和电子废弃物。
其次，SmartHome AI 支持按设备、按房间逐步部署。用户可以先改造使用频率最高的设备，再根据实际需求逐步扩展，而不是一次性完成全屋换新。这种渐进式改造方式能够降低家庭和小型商铺的智能化门槛，也减少重新装修、设备运输和整体替换带来的额外资源消耗。
在日常使用阶段，People Layer、成员在家 / 离家状态、设备状态、睡眠摘要和 WiFi CSI 空间感知可以共同成为自动化输入。例如，当系统判断全家已经离开时，可以关闭不必要的灯光、空调和影音设备；当某一区域持续无人时，可以降低该区域设备的运行状态。当前 CSI 与连续节能场景仍在组合验证中，但系统已经为“根据真实成员和空间状态按需用能”建立了能力底座。
因此，SmartHome AI 希望实现的不只是“旧设备也能被控制”，而是让智能化改造同时兼顾使用成本、设备生命周期和能源效率：让仍然好用的设备继续使用，让需要运行的设备在合适的时间运行。
4. 三个场景，看懂这套生态的价值
场景一：多个品牌、多个协议，只需要一次操作
打开 SmartHome AI，用户看到的不再是按品牌割裂的设备列表：Tesla 的电量与充电状态、米家设备、格力空调、海尔家电、石头扫地机、自研 ESP32，以及由红外模块改造的旧投影仪，都可以出现在同一个家庭视图中。
当用户在 Apple Watch 上点击“观影模式”：
- 主灯关闭，氛围灯亮起；
- 米家窗帘合拢；
- ESP32 向传统投影仪发送已经学习的红外指令；
- 空调同步调整到舒适温度；
- 每一步执行结果写入日志，并通过设备影子和 SSE 回到客户端。
用户只做了一次操作，背后却跨越了 Watch、Cloud、MQTT、局域网协议、ESP32 和真实硬件。
这不是把多个遥控器塞进一个 App，而是让原本互不认识的设备第一次按照同一个生活场景工作。
场景二（正在组合验证）：人还没开门，家已经开始准备
基于当前已经建立的车辆、成员、场景和感知能力，SmartHome AI 正在组合验证这样一段连续体验：
- 系统将读取已授权的车辆与成员状态，判断用户正在回家；
- 客厅空调提前调到舒适温度，灯光与窗帘进入回家状态；
- 扫地机结束清扫并返回基站；
- 用户进入室内后，WiFi CSI 感知空间扰动，为按实际活动区域调节灯光、空调和无人区域节能提供输入；
- 全程不需要摄像头记录家庭画面。
当前 Demo 已经分别建立了车辆接入与安全控制、成员与偏好模型、跨品牌场景自动化，以及六节点 CSI 感知等能力底座。这些模块正在进一步组合成一段无需反复点击的连续体验。
从“车正在回家”，到“人进入房间”，再到“无人区域自动节能”，SmartHome AI 希望理解的不是某一台设备，而是一段真实的生活过程。
场景三（正在组合验证）：灯光不再等待开关，而是跟随成员移动
当家庭成员在设置中开启“灯光跟随”后，系统会将成员位置、房间状态、移动趋势和时间条件作为自动化输入。
例如，成员夜间从卧室走向客厅时：
-
系统判断成员已经离开卧室，并正在接近走廊；
-
走廊灯以较低亮度提前开启，避免突然出现强光；
-
当成员继续进入客厅时，客厅灯按照该成员的个人偏好自动点亮；
-
身后的走廊灯在确认区域无人后延迟关闭；
-
如果成员改变方向或返回卧室，系统会根据新的位置状态及时调整；
-
整个过程不需要用户操作手机、手表或墙壁开关。
灯光跟随并不是简单地实现“检测到人就开灯”，而是结合具体成员、移动方向、区域状态、环境亮度和个人偏好，判断哪一盏灯应该在什么时间、以什么亮度开启。
未来，家庭成员的位置、在家 / 离家状态、睡眠状态和活动状态都会成为自动化引擎的标准条件。灯光只是其中最直观的应用，后续还可以联动空调、窗帘、影音设备和无人区域节能。
当前 Demo 已经建立 People Layer、房间状态、自动化引擎和 CSI 感知底座，“灯光跟随”正在基于这些能力进行组合验证。
5. 三项核心创新
5.1 跨品牌统一能力模型
SmartHome AI 没有为每个品牌单独复制一套业务逻辑，而是在协议之上建立统一设备能力和统一命令链路。
iOS / Watch / Automation
↓
统一设备能力与场景动作
↓
Cloud 权限校验与命令编排
↓
LocalBridge / MQTT / Fleet API / ESP32
↓
不同品牌智能设备、车辆与传统家电
设备状态通过影子、命令回执和 SSE 重新回到客户端，形成“发出指令—真实执行—结果反馈”的完整闭环。
5.2 红外 + BLE 双协议学习：不换设备的低成本智能化改造
ESP32-S3 学习型遥控模块同时支持红外与 BLE 两类命令：红外侧可以学习和保存原始波形，BLE 侧可以学习并保存可执行的控制命令序列。两类命令都可以经过测试后绑定为“开机”“关机”“制冷 26℃”“音量+”等标准设备动作，再被 App、Watch、场景和自动化统一调用。
选择红外 / BLE 协议
↓
学习并捕获控制命令
↓
测试、保存并建立命令库
↓
绑定传统设备标准动作
↓
加入回家 / 睡眠 / 观影 / 开店 / 打烊场景
这条路线保留原有设备和装修，只增加低成本硬件，让大量红外与 BLE 存量设备获得新的生命周期。对用户来说，学习完成后无需关心底层协议：红外波形和 BLE 命令最终都会成为场景引擎中的统一动作。
5.3 本地 AI + 无摄像头空间感知
本地 AI 网关基于 Qwen + LoRA 将自然语言转换为结构化设备意图；AI 不直接控制设备，也不能绕过安全策略发布 MQTT。Cloud 会结合家庭、成员权限、设备能力和风险等级完成最终校验，再进入真实命令链路。
WiFi CSI 则让系统开始理解空间。六个 ESP32-S3 节点轮流发送探测帧，可形成 6 × 5 = 30 条有向链路，并将 RSSI、CSI 幅值、相位和扰动特征实时传到 iPhone，用于无图像的存在检测、粗粒度区域判断和空间实验。
CSI 空间状态不会只停留在感知页面中，后续将作为自动化引擎的标准输入，与成员身份、Presence、房间状态和移动趋势结合，用于灯光跟随、区域空调调节、无人区域节能和异常活动提醒。
两者共同推动系统从“等用户点击”走向“理解用户意图，并理解空间中正在发生什么”。
6. Demo 创作思路
为什么会想到做这个？
现实中的家庭不是样板间。用户不会为了进入某个生态，就轻易更换还在正常工作的空调、电视、投影仪、热水器和汽车；不同家庭成员也有不同习惯、权限和隐私需求。
我因此做出了三个判断：
- 智能家居的主要矛盾，已经从“设备能否联网”转向“不同设备能否围绕人协同”。
- 已装修家庭最现实的智能化路径，不是全量换新，而是保留旧设备并进行增量改造。
- 家的边界不应止于房间。车辆是用户每天停留时间最长的移动空间之一，应该进入同一套身份、状态、场景与安全体系。
因此，SmartHome AI 没有把精力只放在某一张精美控制页面上，而是优先搭建人、车、家都可以持续接入的底层能力：统一身份、统一设备模型、统一场景、统一安全和统一反馈。
7. 系统架构与安全设计
┌────────────────────────────────────────────────────┐
│ iPhone / Apple Watch / HealthKit / Natural Language│
└─────────────────────────┬──────────────────────────┘
│ REST / SSE
┌─────────────────────────▼──────────────────────────┐
│ SmartHomeCloud │
│ People · Vehicle · Home · Scene · Automation │
│ Permission · Shadow · Confirmation · Audit │
└─────────────┬────────────────┬────────────────┬─────┘
│ │ │
▼ ▼ ▼
Local AI Gateway LocalBridge Tesla Worker
Qwen + LoRA LAN / BLE / API Fleet API
│
┌─────────┴─────────┐
▼ ▼
多品牌智能设备 ESP32 / 传统家电
6 × ESP32-S3 CSI 节点 ── UDP ──> iOS 空间感知页面
系统对便利、隐私和安全采用分层设计：
- 本地 AI 只解析意图，Cloud 掌握最终执行权；
- 成员角色可以分别限制设备、门锁、车辆和管理权限；
- Tesla 高风险命令具有独立权限、二次确认、一次性会话与审计记录；
- 自动化具备冷却、防抖、单次执行、步骤日志和防循环保护；
- HealthKit 默认只上传睡眠摘要，不上传完整原始明细；
- BLE 学习命令不保存 LTK、IRK、CSRK 等明文配对密钥，敏感连接信息与家庭数据隔离；
- CSI 不采集面部、衣着或家庭画面；
- 红外设备属于开环控制，系统会明确标记“推测状态”，避免把已发送指令伪装成可靠物理反馈。
8. Demo 已建立的能力地图
| 能力域 | 已建立的核心能力 | Demo 展示重点 |
|---|---|---|
| People Layer | 成员、角色、权限、Presence、偏好、房间状态和面向人的自动化 | 不同成员拥有不同权限与专属场景 |
| 成员位置与状态触发 | 将成员 Presence、房间状态、在家 / 离家、睡眠及活动状态接入自动化条件 | 从“显示成员状态”升级为“由成员状态主动触发服务” |
| HealthKit / Watch | 睡眠授权、摘要聚合、Cloud 同步和睡眠自动化条件 | 让睡眠与身体状态进入家庭自动化 |
| Vehicle Layer | Tesla 中国区 Fleet API、状态模型、空调与充电能力、安全确认与审计 | 让车辆成为家庭生态中的移动节点 |
| Home Layer | Xiaomi、Gree、Haier、Roborock、BLE、ESP32 等统一桥接框架 | 让多品牌设备进入同一家庭视图和规则系统 |
| 传统设备改造 | ESP32-S3 红外 / BLE 命令学习、存储、测试、绑定与执行 | 让红外和 BLE 存量设备参与现代智能场景 |
| 场景与自动化 | WHEN—IF—THEN、多设备动作、安全策略、运行日志和防循环 |
一次操作驱动多个品牌和协议协同 |
| 本地 AI | 自然语言转结构化意图、Cloud 校验和真实设备命令链路 | 实现更自然、可控且不能绕过安全规则的设备交互 |
| WiFi CSI | 六节点、30 条有向链路采集、基线标定、扰动矩阵和区域实验 | 探索无摄像头的存在检测与空间感知 |
| 灯光跟随 | 根据成员位置、移动方向、时间、环境亮度与个人偏好联动多个区域灯光 | 灯光随成员移动自动开启，并探索提前点亮下一活动区域 |
本次 Demo 的重点不是展示静态 UI，而是证明一套生态底座已经能够承载真实的人、真实的车和真实的家庭设备，并让它们在统一规则下协同工作。
其中，成员位置、在家 / 离家、睡眠和活动状态将逐步成为自动化引擎的标准触发条件。用户开启“灯光跟随”后，系统可以根据成员当前所在区域和移动趋势自动点亮沿途灯光，并在位置判断足够可靠时，提前照亮成员即将进入的下一个区域。
9. 实践过程：从一个痛点，到一套可以运行的生态
SmartHome AI 并不是一次性完成的概念设计，而是在真实设备、真实网络和真实家庭环境中持续迭代出来的项目。
整个实践过程大致经历了三个阶段：
第一阶段：从设备控制出发，确定端边云架构
项目首先完成用户、家庭、房间、设备和权限等基础模型，并建立 iOS / Watch、SmartHomeCloud、MQTT 与 ESP32 之间的基本控制链路。在这一阶段，重点不是堆叠页面，而是先验证一条指令能否经过身份校验、设备查找和命令分发，最终到达真实设备并返回执行结果。
第二阶段：突破单一品牌，建立统一设备生态
在基础链路稳定后，项目开始通过 LocalBridge 和独立 Worker 接入 Xiaomi、Gree、Haier、Roborock、Tesla、BLE 传感器等不同生态，并用统一设备能力模型屏蔽协议差异。同时加入场景、自动化、设备影子、实时事件、执行日志和安全策略，使设备不只是出现在同一个列表中，而是真正能够参与同一套规则。
第三阶段：从“控制家”走向“理解人、连接车、感知空间”
随后，项目继续加入 People Layer、Apple Watch / HealthKit 睡眠摘要、Tesla Vehicle Layer、本地 AI 意图解析、ESP32 红外 / BLE 命令学习，以及六节点 WiFi CSI 空间感知。系统由此从一个多品牌设备控制平台，逐步成长为面向真实生活过程的“人—车—家”智能生态。
实践中遇到的困难也推动了系统设计不断完善：传统红外设备缺少真实状态反馈，因此引入“推测状态”和可信度；高风险设备与车辆操作不能依赖 AI 直接执行，因此加入权限、二次确认与审计；多设备自动化可能重复触发或形成循环，因此加入冷却、防抖、运行日志和深度限制；CSI 感知涉及隐私，因此坚持只分析无线信道变化，不采集家庭画面。
这些取舍让 SmartHome AI 不只追求“功能能跑”，还开始具备真实家庭部署所需要的安全、隐私、可解释性和扩展能力。
Trae 实践记录 ID
以下为本项目相关的三条实践记录：
-
2026/7/7 13:10:13 · TRAE Work CN 0.1.32
1589217918721272:f7b19cbc991ae2de95a091c06ba295cc_6a4c8a35d96f32bf4f774b2b.6a4c8a35d96f32bf4f774b2e.6a4c8a35d96f32bf4f774b2c:TRAE Work CN.0.1.32.no_sid.no_ppe.T(2026/7/7 13:10:13) -
2026/7/6 22:46:16 · Trae CN
1589217918721272:1d5795ef168d87d8ce6e1f82605be796_6a4b9a224c7d6f9e8939850e.6a4bbfb84c7d6f9e89398551.6a4bbfb865d35860c4e9adff:Trae CN.T(2026/7/6 22:46:16) -
2026/7/1 16:55:48 · Trae CN
1589217918721272:f033581d5337780e05b31297906211f7_6a3d4db31c554c3b9d1253f7.6a44d6141c554c3b9d1253f9.6a44d6133bc37d79db1bf67a:Trae CN.T(2026/7/1 16:55:48)
10. 总结：品牌决定设备从哪里来，不再决定它们能否一起工作
SmartHome AI 想做的，不是一个更大的遥控器，而是一套面向真实家庭的跨品牌“人—车—家”智能底座。
它让人以最自然的方式表达意图，让车辆成为家庭生态的一部分，让不同厂商的智能设备跨协议协作，也让十年前的空调、电视和投影仪无需淘汰就能进入今天的自动化场景。端侧负责感知与执行，边缘侧负责本地 AI 与协议桥接，云端负责身份、编排、权限与安全，共同构成一条可以持续扩展的完整链路。
初赛 Demo 展示的是这套生态已经跨过的第一道门槛：不同品牌、新旧设备、车与家，已经能够被同一套系统理解和管理。下一阶段，车辆状态、空间感知、个人偏好和自动化将进一步组合，让系统从“按下按钮后执行”继续走向“在合适的时间主动服务”。
11. 已通过的社区报名帖
本项目已通过 Trae 社区报名审核，报名帖子如下：
【生活娱乐赛道】SmartHome AI - 面向多品牌设备融合与非智能设备改造的端边云智能家居生态平台
不换家电，不被品牌绑住；一个平台，让人、车与家真正协同。
