“真正的诗人应该走出咖啡屋,与神枪手、孤独的牛仔、烦人的超市顾客等等这些为数众多又各自为政的人打成一片。”
——罗贝托·波拉尼奥
“现在已经是太空时代了,人们可以登上月球,却无法探索人们内心的宇宙。”
——电影《大佛普拉斯》
Carry the Cosmos 的命名起点,是佩索阿诗集《我将宇宙随身携带》及其英文题名 I Carry the Universe with Me;“上街去”向寺山修司《抛掉书本上街去》致意。一个向内携带宇宙,一个向外走入城市。Carry the Cosmos · 上街去,是一套软硬件共生的空间叙事系统。它以地理坐标和语义向量组织书影音、照片、展览、行程与个人记忆,形成一张能够被 Agent 理解的个人知识地图;FROST 再把这些知识转化为 CityWalk 路线、诗歌种植AR重新,把个人知识地图变成一场可以走进城市的行动,把散步作为方法。
0. 先和大家打个招呼吧 ![]()
-
我是谁:南京大学研究生,独立开发者、作家、建筑师,曾获香港青年文学奖小说高级组冠军、贺财霖科幻文学奖银奖、读客科幻文学奖铜奖及特别奖、浙江省青年文学之星等奖项;获“泉客松”AI 黑客松大赛一等奖,腾讯音乐黑客松三等奖。
你是怎么用 TRAE 把 Demo 做出来的: 这是一个个人完成的软硬件项目。从概念、信息架构、交互、前后端、Agent Harness,到 Plant Poems、随身伴侣的固件、知识桥与部署,主要在 TRAE Work 和 TRAE IDE 中推进。Work 帮我把“诗是一种行动”拆成文本理解、四维参数、模板生成、地点绑定、NFC / AR、路线与再次到访等可执行阶段;IDE 负责读项目、改代码、跑构建、看预览,关键改动都由我逐处审阅。
1. Demo 简介
-
项目名称:Carry the Cosmos · 上街去
-
Demo视频:https://v.douyin.com/vf3xD9s_34E/
Demo体验地址:https://carrythecosmos.throughtheglass.art/
硬件体验建议:
Carry-the-Cosmos-Web数字孪生_单文件上传版.html (223.7 KB)
先进入 Web 设备交互孪生,点击“模拟进入湖心亭记忆范围”,依次体验来源展开、问它、记住这里和 EARTH 写回;再回到软件端体验“书籍 → 漫游 → Plant Poems → ZINE → MY MAP”,观察同一份知识如何在软件与硬件之间流动。
-
Demo 简介:
Carry the Cosmos · 上街去,是一套由“空间知识底座”与“现实行动 Agent”共同组成的软硬件系统。软件端将书影音、照片、展览、行程和笔记整理为带有地理坐标、语义向量、来源与时间线的个人世界模型;FROST 据此生成可走的城市路线、地点召回和种诗等行动;随身硬件把同一个 FROST 带到街上,在相关地点发起一次克制、可确认的提醒。
两个相互咬合的核心
**① 基于空间的个人知识库:**每条记忆同时拥有地理坐标与语义向量。地点回答“它发生在哪里”,向量回答“它与哪些内容相近”;书、展品、照片与城市经历因此可以跨媒介关联,成为 FROST 可查询、可持续更新的个人世界模型。
**② 面向现实的行动 Agent:**FROST 使用这套世界模型决定“下一步做什么”——把一本书研究成 CityWalk 路线,在抵达地点时召回原文,把诗种进街角,或提示用户记录当下。软件负责规划与记忆,硬件负责在现场发起行动。
**面向谁:**喜欢阅读、城市漫游、地方文化、诗歌创作和 LBS / AR 体验的人;也面向那些保存了很多书影音、照片与笔记,希望它们继续影响现实生活与行走路线的人。
**核心闭环:**是“知识建模 → Agent 规划 → 城市行动 → 现场记录 → 写回记忆 → 再次行动”。MAPPING 将书籍和地方资料研究成有来源、可实际行走的路线;FROST 在用户抵达现场后召回相关原文与私人记忆;新的文字、声音或照片写回 EARTH,继续丰富下一次行动所依赖的个人世界模型。
**交互取舍:**硬件承担体验发起者的角色。手机仍在口袋里时,硬件可以先震动、亮屏并等待确认;屏幕只显示 FROST 表情、地点状态和一句提醒,不复制完整手机 UI。公共场所默认使用震动与屏幕,用户确认、连接耳机或主动按键后,设备才播报私人内容。
**当前完成度:**软件已形成书籍研究、地理与语义关联、看展记录、地点证据、路线、Plant Poems、ZINE 与私人地图等内容基础;实体树莓派原型已联通 Whisplay 小屏模块、按键、ASR / TTS、相机隐私护栏、电池与网络诊断、FROST 表情及跨重启状态。动态手机 / GNSS 位置流与真实地理围栏(geofence)尚未接通,本轮使用本地模拟数据驱动 Web 设备交互孪生,完整演示地点进入、震动亮屏、来源展开、问它、记录、静音与 EARTH 时间线写回。
2. Demo 创作思路
-
2.1 两个相互咬合的核心:个人世界模型与现实行动 Agent
第一层是空间知识底座。Carry the Cosmos 为每条内容建立地理、语义、时间与来源四类关系。打开一件在上海博物馆看过的宋代官窑瓷,卡片底部可能同时浮出同馆经历、其他宋代器物与《东京梦华录》等“相关记忆”;它们有的地理相近,有的在向量空间中语义相近。这些关系共同构成 FROST 可查询、可推理的个人知识地图。
第二层是现实行动 Agent。Agent 的职责从整理和问答延伸到现实决策:该去哪里、为什么绕路、抵达时应该唤回哪段原文、是否值得打扰、此刻要记录什么。CityWalk 在这里承担行动界面,随身硬件则承担现场触发与确认。
-
两层形成闭环:知识底座为 Agent 提供过去与上下文;Agent 把这些信息转成现实行动;行动产生的新照片、声音和感受再写回知识底座。Carry the Cosmos 因而从个人知识库继续长成一套能陪用户走进现实的 Agent 系统。
-
2.2 从“保存内容”到“促成一次行动”
-
我想解决的痛点很日常:记录越来越多,回头找却很难;知识被保存之后,也很少继续影响人的行动。照片躺在相册,想法躺在笔记,路线躺在地图,书、电影、音乐散在不同平台。缺少共同坐标时,它们难以形成一张完整的个人世界模型,也很难告诉 Agent:此刻身处哪里、为什么与这里有关、下一步可以做什么。
Carry the Cosmos 选择空间作为第一层组织轴,并用向量化建立第二层关系。每条记录先回答“它属于哪里”,再回答“它与什么相近”:书回到故事地或作者地,电影回到取景地,音乐回到歌手的城市,照片按经纬度归位,行程连成足迹;语义向量让措辞不同、却讨论同一时代、器物、人物或情绪的内容相遇。空间给行动提供锚点,向量给推理提供关联。
整理只是起点。FROST 进一步把这些关系转成行动:MAPPING 把古籍、小说和地方史读成路线;Plant Poems 把诗、照片与现场感受写回城市;随身硬件在用户抵达地点时召回原文与个人记忆。阅读产生路线,抵达触发召回,现场记录又成为下一次行动的新上下文。
读城市、写城市、听城市,是同一张个人知识地图进入现实的三种方式:书被研究成路线,诗被写回地点,地点在用户经过时重新开口。
-
2.3 命名与精神谱系:把内心宇宙带上街
-
Carry the Cosmos 的命名取意于费尔南多·佩索阿诗集《我将宇宙随身携带》及其英文题名 I Carry the Universe with Me。这个标题所说的“宇宙”既指一个人随身携带的阅读、记忆与兴趣,也指《大佛普拉斯》所说那个难以被外界抵达的“内心宇宙”。产品试着给这片宇宙一套空间语言:它可以被写下、被定位、被带到街上,也可以在另一个人的抵达中被重新读到。
“上街去”向寺山修司《抛掉书本上街去》致意。波拉尼奥也要求诗人离开咖啡屋,进入神枪手、孤独牛仔与超市顾客组成的现实人群。
我把这两条线理解成同一种创作伦理:诗要离开书页,进入街道、身体、路线和公共空间。写下、种下、抵达与再阅读共同构成作品。
我最喜欢的产品之一 Pokémon GO 给了这个项目另一条重要线索:LBS 与 AR 可以改写人的步行路线、停留时间和相遇方式。Carry the Cosmos 继承这种空间动员能力——地点触发、路线、Nearby、到访、收藏与共同策展;内容换成诗、古籍和个人记忆,奖励来自抵达、阅读与共同创作。应用参与城市空间,城市也参与作品的完成。
-
2.4 FROST:从《趁生命气息逗留》走进软硬件系统
-
FROST 的名字来自罗杰·泽拉兹尼的科幻短篇《趁生命气息逗留》。小说中的机器生活在没有人的地球上,它委派漫游机收集书、艺术与物件,从碎片中积攒知识与经验,试图理解“成为一个人”究竟意味着什么。Carry the Cosmos 延续这条线索:主 Agent 不直接吞下全部原始材料,而是把研究、OCR、规划、种诗、看展、位置召回与音乐等任务交给领域 Agent,再把带来源、可确认的结论带回用户。
工程上,frost-agent 是一套多智能体 Harness。Router 先判断意图:明确命令由规则快速处理,能在端侧判断的任务先走本地分类,复杂或长尾问题再交给云端理解与生成;网络或模型不可用时回到规则与离线状态机。研究、OCR、规划、种诗、看展、照片整理、位置召回与音乐分别由领域 Agent 和可复用 Skill 承担,每一步由谁处理、花了多久、运行在云端还是本地,都会写进 RunTrace。
FROST 还拥有双层记忆:一层维持当前对话与任务的连贯,一层跨会话沉淀长期口味、地点与行动历史。每个子 Agent 完成任务后,经过隐私与边界校验,把新学到的偏好写回画像。FROST 因而知道用户读过什么、去过哪里,也记得为什么曾被某个地点打动。
看展搭子是这套机制的代表性子 Agent。用户拍一张展签或批量导入看展照片,端侧先识别文字,云端补全朝代、器类、材质与导览信息,本地表再校验年代;确认后写回展馆坐标与相关记忆。绕拍素材进入 3D 高斯泼溅的链路也已预留,当前重点继续深化展签识别、批量观展记录与 3D 展品之间的联动。
软件与硬件是 FROST 的两种分身:软件负责构建世界模型、研究证据和规划路线,硬件负责在地点现场用屏幕、震动、按键与声音发起行动。
-
图 1|FROST 的 Skill 层:3 个地图内容包、8 个管线 Skill 与 4 个图层技能;内容与能力可以独立分发。
-
图 2|AGENTS 控制台与 RunTrace 编排树:FROST 委派领域 Agent,每一步的耗时、状态与云 / 本地来源可见,确认后才落地。
-
所有写入先进入建议态,用户确认后落地;动作类型必须通过 BOUNDARY 白名单;RunTrace 记录调用关系、耗时、状态和运行位置。每条主动提醒还必须携带来源,并受相关性、冷却时间、打扰预算与隐私状态约束。
FROST 的目标架构由人格、技能、边界与知识桥组成,贯穿软件研究和硬件现场。硬件 GPS 围栏属于下一阶段目标,本轮通过本地地点事件状态机验证接口和交互形态。
3. 软件版:为 Agent 建立可行动的个人世界模型
-
软件端为 FROST 建立个人世界模型。MAPPING、EARTH、Plant Poems、ZINE、MY MAP、书籍研究、展品记录、地点证据、长期记忆和时间线共享同一套空间语义。每个对象都可以拥有地点、时间、来源与语义向量;FROST 先在这张图里理解用户,再把相关内容组织成路线、提醒和现场任务。
向量化让知识库获得第二种“坐标”。地理坐标连接同一地点发生的经历,语义向量连接不同措辞中相近的主题、时代、器物和情绪。比如一张宋代官窑瓷的展品卡,可以在“相关记忆”中同时遇见上海博物馆的到访记录、其他宋代器物和《东京梦华录》的摘录。
这层知识库最终服务于行动层:它为路线生成提供兴趣与证据,为地点召回提供原文和私人历史,也为硬件判断“此刻是否值得开口”提供上下文。
-
图 3|软件总起:把一本书读成一张能走的地图。左为 MAPPING 书架与研究管线,右为 MY MAP 总舆图与书摘票根。
-
3.1 书籍:从全文到一张有时间态的地图
-
用户可以选择内置古籍,也可以粘贴任意全文或拍下一页竖排繁体。FROST 读取文本、提取地名、核对原文出处、解析坐标,最后生成待确认的地点清单。所有落点都要经过用户确认。
· 诚实的时间态:每处地点标注“尚在 / 重建 / 已无”。断桥尚在,雷峰塔经历重建,有些地点只活在书里。
· 引文纪律:古籍名句只收可核验出处的内容,并附篇目;研究结果保留证据来源。
· 公开边界:用户导入的全文默认停留在个人工作区;对外分享只展示公版文本、已获授权内容或必要短引文,并保留出处。
· 端侧 OCR:拍书页时优先在本地识别竖排繁体,原图留在设备中;识别出的正文继续进入地点研究。
· SKILL PACKS:一组书与精编地点可以封装为自包含的 .skill JSON,支持加载、卸载、导入、导出和分发。
-
图 4|从全文到有时间态的地图:古籍书叶以雕版竖排呈现、引文可溯出处;内容包逐处标注「尚在 / 重建 / 已无」。
-
图 5|MAPPING 考据管线:三种进料 → FROST 五阶段研究 → 漫游编排 → 地图、路线与内容产物。
-
3.2 漫游:照着书里的地图走,把沿途剪进手帐
-
地点被确认后,系统生成一张可漫游的城市图。相机沿路线跟随,用户可以用“手帐剪刀”裁取现场照片并按 GPS 贴回位置;展览、博物馆、赏花等内容包可作为图层叠加;FROST 同时编排天气、开放状态、交通与行前建议,每一步能在事件树里回放。
-
3.3 DIY 漫游手帐:把一路见闻剪成自己的版面
-
一次漫游不必只留下按时间排列的相册。沿途拍下的照片、票根、便签、胶带和贴纸,都可以回到同一张手帐拼贴台:用户从素材库挑选喜欢的元素,自由移动、组合、调整层级或删除;也可以拿起界面里的“小剪刀”,把喜欢的画面裁成独立素材,再贴进自己的漫游手帐。照片票根 Skill 还会补充主题色、地名与日期,让地图上的地点、现场照片和当时留下的心情在同一页相遇。它是一张可以重新排列、真正由用户完成的漫游手帐。
-
3.4 Plant Poems:诗是一种行动,把所有的诗种回地球
-
诗的完成需要三次行动:先被写下,再被种进地点,最后被后来者抵达。NFC 铭牌承担“树根”,现场 AR 展示承担“开花”,街区成为花园。后来者走到现场、碰一下铭牌,才会读到那首诗、看到植物生长,并在地图上点亮这一处。几十枚铭牌沿一条路线展开,会形成一场只能靠脚步读完的城市诗歌展。真实抵达才开花。
真实部署以场地方授权和可移除装置为前提;NFC 铭牌只承担访问入口,不占用或破坏公共设施。
当前 Web 版本已完成地点绑定、NFC 策展、Poem Plant 生成和 AR 叠加展示的体验链路。后续 Android 原生版本会接入 ARCore Cloud Anchors / Geospatial API;云锚点环境受限时,系统以 GPS、视觉锚点、NFC 与后端地点 ID 组合降级,继续保证“种下 → 保存 → 再次读取”的闭环。
这一层也为城市级玩法留出空间:Nearby 发现、主题路线、到访印记、复访、多人种植与街区策展都可以建立在同一套 Poem Plant / Poem Spot 数据上。数字内容开始影响真实脚步,城市因此拥有一层由普通人共同维护的诗歌地貌。
-
**“种诗”是这个项目最核心的行动单元:**让思想与记忆不再停在输入框里,而是生成一株 Poem Plant,绑定到真实地点,等待后来者用一次抵达把作品继续完成。地图与 GNSS 先把人带到地点附近;NFC 铭牌负责确认作品身份、提供稳定的现场入口,但它不承担精确空间定位;相机中的视觉锚点、地理锚点或平面识别,才负责让诗歌植物在现实环境中站稳并显影。后来者可以在现场读诗、保存、回应,再把新的文字、照片或声音写回地点与时间线。同一条链路既可以成为一场需要用脚步读完的城市 AR 策展,也可以承载私人记忆回访和与他人记忆的相遇。当前 Web 版本展示的是场景叠加与交互概念;后续将分别探索 iOS ARKit、Android ARCore,以及支持终端上的 WebXR,并保留地图、NFC 与二维叠加等降级路径。
-
图 7|Plant Poems:每一枚 NFC 铭牌都是一棵诗树的物理入口,沿路线展开,真实抵达才开花。
-
图 8|同一套四维语义——LUX 照亮、TEMP 温度、FLUX 流速、GRAV 重量——长出各异的 Poem Plant。
-
3.5 ZINE:把一路的照片做成一城一刊
-
上街拍下的照片回到 ZINE。用户可以自由摆放照片、胶带和便签;照片票根 skill 会自动提取主题色、地名与日期,把一张照片排成电影票根式纪念卡。阅读、步行和创作最终沉淀为一册可以回看的旅志。
-
图 9|ZINE 一城一刊:手帐拼贴台自由摆放照片、胶带与便签,照片票根和古籍明信片把一次行走沉淀成可回看的旅
-
3.6 MY MAP:漫游地图与私人宇宙
-
MY MAP 有两种观看方式。漫游地图铺开 FROST 考据过的城市地点,每处挂着原文、出处与今昔存废;私人宇宙汇总书影音、照片、展览、心情和行程。地图展示空间关系,向量关联补充语义关系;二者共同承担 FROST 可查询的个人世界模型,也保存一路走过、读过、看过和写过的痕迹。
-
图 10|MY MAP 双模式:考据地点漫游地图与书影音记忆星球一键切换。
-
图 11|私人宇宙:缩到全球是跨城记忆星群,落到西湖则是贴满拍立得与心情贴的湖畔。
-
3.7 软件实现与知识边界
-
软件与地图:React + TypeScript + Vite;MAPPING、EARTH、Plant Poems、ZINE 与 MY MAP 共享地点、来源和时间线语义。
软件侧所有写入都会先进入建议态,用户确认后才落地;动作类型经过 BOUNDARY 白名单;RunTrace 保存调用关系、耗时、状态和运行位置。研究、OCR、规划、种诗、ZINE、照片整理与位置召回共享同一套地点、来源和时间线语义。
-
3.8 软件下一步:真实 AR、城市内容包与共同策展
-
1. 让 Plant Poems 进入更真实的城市现场:Android 原生接 ARCore Cloud Anchors / Geospatial API;基础版本继续保留 NFC、GPS 与视觉锚点作为稳定通道。让一棵诗歌植物在同一地点被再次找到,也能被另一个人读到。
2. 把 SKILL PACKS 做成可共享的城市内容包:作者、研究者与机构可以发布“一组书 + 一组地点 + 一条路线”,用户加载后直接上街;诗歌路线也能作为 Poem Garden 被共同维护。
-
图 12|城市内容包实例:杭州博物馆地图、镇馆之宝与特展倒计时;右侧为可试用的 MAPPING SKILLS 管线。
3. 建立城市级共创层:Nearby、主题路线、到访挑战、印记、多人种植与街区策展,把 Pokémon GO 所展示的空间动员能力转向文学、地方文化和公共艺术。用户因一首诗绕路、停留、相遇,应用由此真正参与城市。
4. 硬件版:让 Agent 在现实中发起行动
-
软件提供知识和上下文,硬件承担行动入口。上街时,人不会一直盯着手机。当地理位置、内容来源与私人历史同时相关时,硬件以一次震动、一张表情和一句有出处的提醒请求注意,再等待用户决定是否继续。
个人知识地图因此可以在 CityWalk 中与用户重新相遇:它知道你在哪里,也记得你为什么来过这里。
-
4.1 从真实树莓派原型到概念终端
当前实体原型以树莓派为核心,已经做出可手持的白色机身:Whisplay 黑色小屏固定在正面左下,顶部有明显突出的摄像头结构,右侧保留实体控制区。它证明屏幕、按键、语音、相机、电池与网络状态可以在同一台随身设备上协同,也给下一版工业设计划定了真实尺寸与接口约束。
概念终端在保留掌中尺寸、Whisplay 位置与摄像头高度这些真实约束的基础上重做外壳:橙红保护边框、暖白面板、上方扬声器、麦克风物理断开滑杆、“问它 / 记住这里”双键、大橙键、侧边滚轮、耳机 / 私密语音、夹扣与挂绳。屏幕里的 FROST 保持简洁方形,整机围绕单手操作、隐私可见和边走边用展开。
这张对照图同时保留当前真机证据与下一代概念方向;概念图均明确标注为非量产实物。
-
图 13|左:当前树莓派 + Whisplay 实体原型;右:保留真实屏幕、摄像头与尺寸约束的概念终端迭代。
-
4.2 让硬件成为体验发起者
硬件让 Agent 真正进入 CityWalk。地点事件到达随身硬件后,FROST 只用一次震动、一张表情和一句带来源的提醒请求注意;复杂地图、蜂窝网络和重推理仍由手机协同完成。用户无需为了寻找内容反复打开手机,相关知识会在现实场景真正需要它时主动回来。
· Whisplay 小屏:只显示 FROST 表情、地点状态、来源提示和一句提醒。
· 顶部摄像头:保留真实原型位置,用于用户主动发起的现场记录;受相机隐私护栏约束。
· 扬声器、耳机与震动:公共场所先震动和亮屏,确认后才以私密或公开声音继续。
· 麦克风物理断开:硬件级隐私状态必须可见、可摸到、可验证。
· “问它 / 记住这里”双键与大橙键:把最重要的三种现场动作从菜单里拿出来。
· 侧边主动程度 / 音量滚轮、夹扣与挂绳:让设备真正适合边走边用。
-
图 14|硬件功能:屏幕、摄像头、隐私门控、实体按键、声音、震动与随身结构围绕地点召回组织。
-
4.3 唯一主演示闭环:湖心亭如何主动唤回一段记忆
用户向 MAPPING 导入张岱《陶庵梦忆》、周密《武林旧事》等资料。FROST 提取原文证据、历史地名、现代地点映射与置信度,生成杭州漫游路线。当用户接近湖心亭,随身硬件先震动亮屏,展示来源并等待确认。
1. 接近地点:首轮由 Web 模拟地点事件;后续由手机协同提供 GNSS / geofence。
2. FROST 唤回:设备震动、亮屏,并展示书籍章节或私人历史记录的来源。
3. 用户确认:选择“问它”“记住这里”或“静音”;未确认时不公开播报私人内容。
4. 写回 EARTH:新的文字、声音或照片进入地点与时间线,成为下一次经过时继续对话的上下文。
-
图 15|湖心亭地点召回闭环:接近地点 → FROST 唤回 → 用户确认 / 记录 → 写回 EARTH。
-
4.4 Web 设备交互孪生:让评委亲手走完硬件体验
Web 第一屏直接提供可操作的设备模拟器。页面同时展示设备本体、杭州路线、湖心亭原文证据与 EARTH 私人时间线;支持同步、待机、接近地点、震动、等待确认、对话、记录、写回成功、静音与离线降级等状态。所有数据都在本地模拟环境中运行,不消耗真实模型、地图或硬件 API。
· 可展开每条提醒的书籍篇目、现代地点映射与置信度。
· 可选择“问它”“记住这里”或“静音”,并看到 FROST 表情与设备状态同步变化。
· 记录确认后写回 EARTH 时间线;页面明确说明这是目标体验的交互验证,真实 geofence 仍待接通。
· 桌面与 375 / 390 像素手机视口均完成浏览器截图与交互验收。
-
图 16|Web 设备交互孪生:湖心亭地点事件完成后,现场记录已经写回 EARTH 时间线。
-
4.5 当前能力、模拟能力与下一步边界
-
当前实体原型已经具备
· Whisplay 小屏、FROST 表情、实体按键、语音唤醒、ASR / TTS 与声音物理门控。
· PiSugar、电池与网络诊断、手机热点故障转移、相机隐私护栏。
· 跨重启状态、设备命令队列,以及云端 / 端侧大脑的基础切换能力。
· 日落电台保留为 FROST 的音乐 Skill,主产品继续围绕地点召回与空间叙事展开。
本轮通过 Web 与本地 mock 演示
· 进入 / 离开地点、震动亮屏、等待确认、静音、录入与时间线写回。
· 湖心亭路线、原文证据、地点映射、置信度与 EARTH 记忆条目。
· 界面已预留相关性、冷却、打扰预算和隐私闸门的位置;真实策略执行将在下一阶段接通。
下一阶段接通
··手机 / GNSS 动态位置流、真实 geofence、进入 / 离开与附近检索。
· 软件端与硬件端共享的地点记忆 schema、同步接口和完整打扰策略。
· 震动马达、耳机 / 私密语音、夹扣与挂绳等概念终端结构的实体迭代。
对外演示原则:AIGC 图片只称概念演示,Web 只称交互原型,实体能力只展示已经做成并实际验证的部分。
-
4.6 技术架构:手机协同位置与重推理,硬件承担现场交互
• 完整产品按“知识底座—Agent 行动层—现场终端”协同。软件知识底座管理地理、语义、时间、来源与长期记忆;FROST 根据这套个人世界模型生成路线、地点事件和下一步建议;手机负责 GNSS、蜂窝网络、地图和重推理;随身硬件负责 Whisplay、声音、按键、隐私门控与离线状态机,把 Agent 的判断变成一次可感知、可确认的现场交互。
• 手机协同层:后续接入动态 GNSS、蜂窝网络、地图与复杂推理,并把经过隐私筛选的地点事件发送给随身硬件。
• 树莓派终端:Whisplay、按键、ASR / TTS、声音物理门控、电池 / 网络诊断、相机隐私护栏、命令队列和端侧状态。
• FROST 地点事件状态机:同步 → 待机 → 接近地点 → 震动 → 等待确认 → 对话 / 记录 → 写回 → 成功;离线时只保留安全的本地能力。
• 隐私与打扰:公共场所默认震动和屏幕;用户确认、连接耳机或主动按键后才播报私人内容。
• 共享记忆桥:地点记忆 schema、附近检索与同步接口仍在设计中;本轮以独立 Web 状态机和本地模拟数据验证接口形状,并在界面中明确标注尚未接通的部分。
• 可观测与降级:网络、模型、位置或硬件能力不足时沿预设路径降级;页面和材料始终区分实体能力、模拟能力与目标能力。
-
图 17|架构边界:手机协同、树莓派终端、FROST 连续人格与 软件知识底座共同完成地点召回。
-
图 18|树莓派终端内部:知识桥 → companion 内核 → ambient 感知 → io_seam 出声;GPS 为预留接缝,尚未接通。
-
4.7 硬件下一步与结语:让个人知识地图在现实中行动
-
当前可验证的闭环已经覆盖三层:软件端完成知识建模、书籍研究与路线;实体原型证明屏幕、声音、按键、隐私与端侧能力可以在同一台设备上协作;Web 设备交互孪生让评委亲手走完地点召回和记忆写回。
下一阶段将集中接通动态手机 / GNSS 位置流、真实 geofence、软硬件共享的地点记忆 schema 与完整打扰预算,并在真实屏幕、摄像头和掌中尺寸的约束下继续迭代震动、耳机 / 私密语音、夹扣与挂绳。
Carry the Cosmos 的两层最终在街上合流:空间知识库让 FROST 理解用户与世界的关系,行动 Agent 把这种理解变成一条路线、一次提醒、一首被种下的诗或一段现场记录。新的行动再次写回知识底座,让下一次经过拥有更准确、更私人的上下文。
知识库让 Agent 拥有可追溯的过去,行动层让它参与下一步。诗是一种行动。软件组织记忆,硬件带它回到现场。
-
图 19|随身硬件概念终端多视图:基于现有树莓派原型的后续外壳与便携结构迭代,仅作概念演示,不代表量产实物。题眼与命名来源:罗贝托·波拉尼奥;电影《大佛普拉斯》;费尔南多·佩索阿《我将宇宙随身携带》;寺山修司《抛掉书本上街去》。
5. 社会公益:古籍活化
“上街去”希望让古籍从书库、扫描件和学术注释中重新进入城市现场。系统可以读取公版古籍、获得授权的文本,或用户在本地拍摄的一页竖排繁体,提取其中的地名,核对原文篇目与出处,再研究它们今天对应的位置。这些地点会组成一条能够 City Walk 的古籍路线,让读者沿着张岱、周密等人的文字重新进入杭州、南京等城市。
这条路径可以进一步发展为开放的城市文化内容包。作者、研究者、图书馆、博物馆、高校与地方文化机构,可以共同整理“一组书、一组地点、一条路线”,将经过考据的原文、地点坐标、今昔状态与漫游顺序封装成可加载、可分发的内容包。公众加载后即可直接上街阅读;不同城市也可以逐步建立自己的文学地图、地方史路线和博物馆路线。
公益价值主要体现在三个方面。第一,降低古籍阅读的门槛,让读者从熟悉的街道、桥梁、园林和建筑进入文本;第二,将古典文学、地方史和城市教育结合起来,为学校研学、社区活动、图书馆阅读推广和公共文化项目提供可复用的工具;第三,引入公众共建,读者可以在抵达现场后补充照片、声音、口述记忆和地点变化,再由研究者或机构复核,让一条古籍路线持续更新。Nearby、主题路线、到访印记和街区策展等机制,也可以把这种城市参与扩展到地方文化和公共艺术。
内容开放必须保留清晰边界:古籍引文只采用可核验出处的内容,并附篇目;用户导入的全文默认停留在个人工作区;面向公众时,仅展示公版文本、已经获得授权的内容,或为说明所必需的短引文,并完整保留来源。这样,古籍活化既能走向公共空间,也能保持考据、版权与传播责任。
6. Demo 体验地址
Demo 视频:https://v.douyin.com/vf3xD9s_34E/
Demo体验地址:https://carrythecosmos.throughtheglass.art/
硬件体验建议:
Carry-the-Cosmos-Web数字孪生_单文件上传版.html (223.7 KB)
先进入 Web 设备交互孪生,点击“模拟进入湖心亭记忆范围”,依次体验来源展开、问它、记住这里和 EARTH 写回;再回到软件端体验“书籍 → 漫游 → Plant Poems → ZINE → MY MAP”,观察同一份知识如何在软件与硬件之间流动。
7. TRAE 实践过程
-
7.1 我如何与 TRAE 配合,把一句文学命题拆成可运行产品
-
Carry the Cosmos 同时包含空间知识库、长文本研究、地图交互、Agent 编排、诗歌生成、NFC / AR 叙事、实体树莓派与 Web 设备交互孪生。开发时,我先把两个核心拆开验证:一条线建立“地理坐标 + 语义向量 + 来源 + 时间线”的知识底座;另一条线跑通“地点事件 → FROST 提醒 → 用户确认 → 现场记录 → 写回记忆”的行动闭环,再用同一套 schema 和 Agent Harness 把它们接起来。
1. 在 TRAE Work 中输入 PRD 与约束,把“大项目”拆成书籍研究、地点考据、Plant Poems 首屏、诗歌属性、Poem Plant、漫游地图、NFC / AR、ZINE、知识快照、硬件播报和部署等阶段。计划文档直接落进项目目录,后续在 IDE 中持续引用。
2. 在 TRAE IDE 中用中文需求和界面截图推进实现。Agent 会读取现有文件、给出 diff、运行构建;我逐处决定保留、修改或撤销,避免一次性改动失控。
3. 把构建和预览接进同一条修复链。代码修改后自动执行 build;预览控制台出现错误时,直接“添加到对话”,让报错、上下文和代码保持在同一轮任务里。
4. 用沙箱与命令白名单保护高风险操作。这个体验也启发了产品里的 BOUNDARY:Agent 先提出建议,写入、发布、同步等动作都要通过白名单和人工确认。
5. 软件与硬件先围绕同一条“湖心亭地点召回”闭环联调。首轮保留现有设备后台服务,用独立地点事件状态机和本地模拟数据完成 Web 设备交互孪生;手机协同层承接后续的 GNSS、蜂窝网络、地图与重推理,树莓派聚焦屏幕、声音、按键、隐私状态与离线状态机。
TRAE 开发流程覆盖任务拆解、可审阅 diff、自动构建、内置预览、沙箱防护与多轮排障;下面六张截图来自真实开发过程。
-
图 21|TRAE IDE 读取现有项目:结合中文需求与界面截图修改代码,并输出可审阅的 diff。Session ID:6a3d4373496faa07d7f27dab
-
图 22|Agent 自动构建与预览:修改后运行 build、启动服务并弹出内置预览,形成快速验收闭环。Session ID:6a3d4373496faa07d7f27dab
-
图 23|沙箱与命令白名单:高风险命令需要确认;这一机制也启发了产品内部的 BOUNDARY。Session ID:6a48663a6f49f9261899f99
-
图 24|多轮排障:围绕类型、缓存和状态根因连续定位,在同一上下文中把问题追到闭环。Session ID:6a48663a6f49f9261899f99
-
图 25|内置预览验收:在同一 IDE 中查看移动端界面、控制台报错与修复结果。Session ID:6a48c2eb658f1d2a774b0d69
-
7.2 关键任务 Session ID
-
Session ID(≥3):① 6a3d4373496faa07d7f27dab ② 6a48663a6f49f9261899f99
③ 6a48c2eb658f1d2a774b0d69
-
7.3 TRAE 使用感受
-
我现在 Trae Work 和 Trae IDE 都会用。Trae Work 适合拆任务、排计划、生成开发文档;Trae IDE 适合进入代码细节,逐处看 diff、跑构建、看预览。对一个人做完整产品来说,这种分工很实用。我个人非常喜欢用 Trae IDE ,已经替代了之前用的 Cursor。
我最看重的是可审阅性。Agent 可以承担连续任务,diff、构建结果、预览报错和命令风险都留给人判断。Carry the Cosmos 同时跨越软件、硬件、地图、Agent、NFC 与 AR,靠一次性生成很难走稳;TRAE 帮我把一句文学命题拆成一段段可以验证的行动链,再把这些路接成今天能够体验的产品。
8. 对应的报名审核通过帖子链接
报名帖链接: 【生活娱乐赛道】Carry the Cosmos · 上街去:软硬件共生的空间叙事产品丨基于空间的个人知识库































