0. 先和大家打个招呼吧 
-
你是谁： 大家好我是Meandro（菠萝的自我救赎），是一名白天当牛马，晚上深度VibeCoding的独立开发者。
-
自从接触了VibeCoding，我就戒掉了魔兽世界和流放之路。
-
你是怎么用 TRAE 把 Demo 做出来的： 自从学习了AI应用和接触VibeCoding后我就很喜欢和各行各业的人去探讨“AI+”的话题，寻求用VibeCoding解决原来学习、生活与工作中的痛点。
-
AI乐谱大师的开发的动因是一位香港音乐老师（YOBE）委托我搭建一款PDF转musicxml应用，因为国外的几款转谱软件各自有各自的雷点，收费又贵、技术又老，用得还非常不爽。然后就寻思着咱们能否自己开发一套？如此，那就来呗！
-
开发过程中非常感谢yobe老师给我音乐上的专业指导，“AI产品经理+专业人士”我觉得是VibeCoding有效推进的思路，一边搭建、一边使用、一边有效反馈形成有效循环，极大提高开发的效率和准确度。
1. Demo简介
是什么： AI乐谱大师是一个一站式音乐学习与创作Web应用，打通"乐谱数字化→扒谱→AI评分"全链路，让老师教学更专业、学生练琴更有方向、家长了解学习进度有客观依据。
面向谁：
-
音乐教师：不想被市面陪练App的固定曲目限制，想保留自己的教学体系和教材
-
琴童和学生：练琴不知道哪里弹错了，缺乏客观反馈
-
学生家长：不懂乐理，无法判断孩子练习效果，与老师沟通容易产生误解
-
作曲编曲人：需要快速扒谱、转谱
-
小乐团/学校乐团：缺乏资本请专业编曲和助教，需要更公平的学习和演出机会
核心功能：
-
PDF → MusicXML：老师指定的任意乐谱PDF，一键转成可编辑的电子谱，支持钢琴、吉他、小提琴、长笛等主流乐器，兼容老师自有教材
-
MP3 → MIDI：听到好曲子，音频直接转MIDI，保留原始力度和表情
-
链接 → MIDI：粘贴B站/YouTube链接，一键提取音乐转MIDI
-
AI演奏评分：学生录一段演奏，AI从音准、节奏、力度、完整度等六维度打分，小节级错误定位，生成可视化报告，家长和老师一目了然
-
协同模式：PDF转谱+演奏评分联合分析，学生可跟着流动乐谱用相同拍子练习，降低小乐团聘请助教合奏练习的成本
核心价值：
-
学练同步：老师指定乐谱 → 学生按谱练习 → AI评分反馈，形成完整闭环
-
客观数据：不再凭"感觉"判断练习效果，六维度量化评分+小节级错误定位，消除家校沟通误解
-
不限曲目：不像市面陪练App只有固定曲目库，用户任意PDF/音频都能用，保留教学自主权
-
教育公平：让缺乏资本的学生、小乐团也能获得专业级的乐谱数字化和AI反馈，不再因资源匮乏而失去学习和演出的机会
2. Demo创作思路
灵感来源： 音乐是人类的通用语言，但音乐学习却长期被高昂的成本和低效的工具所束缚。纸质乐谱难以数字化，音频扒谱依赖人工，练习反馈滞后且主观——这些问题困扰着无数音乐学习者和教育者。作为一名产品经理，同时也是一位音乐爱好者，我一直在思考：AI技术已经发展到今天，为什么音乐学习还要停留在"手工作坊"时代？
想解决的问题：
从不同用户角度，痛点各不相同：
-
音乐老师：新一代老师已经用平板电脑上课，但乐谱还是要打印出来发给学生——这不是真正的数字化。国外有一些付费共享学习App，但只是普通PDF，没有跟拍子、指法跟踪等互动功能。市面陪练App曲目固定，会冲散老师自己经营多年的教学体系；学生课后练习情况无法追踪，和家长沟通学习进度经常产生误解。更头疼的是，音乐扒谱要找编曲老师，不仅花时间、花钱，还很难找到可靠的。
-
学生家长：自己不懂乐理，没办法判断孩子练习是否正确；孩子口头说练熟了，实际节奏、音符错漏很多；和老师沟通学习进度经常出现误解。
-
学生本人：练琴枯燥，只能练老师指定的曲目；练习没有目标，不知道自己弹得好不好；想弹自己喜欢的歌，却找不到合适的乐谱。
-
小乐团/学校乐团：有资本的大型演出乐团可以请专业编曲老师扒谱，但小型学校乐团缺乏这样的资源。演出需要编曲扒谱，成本高、周期长，合奏练习还要聘请助教老师——很多小投入的乐团因此失去了表演机会，缺乏公平性。
为什么做这个方向： 我觉得音乐学习不应该是一件昂贵的事，也不应该被工具限制住可能性。请陪练老师一小时300块，普通家庭根本负担不起；手动打谱两小时才打两页，把大量时间浪费在重复劳动上；小乐团想演出，扒谱成本高、周期长，合奏练习还要聘请助教——很多因此失去了表演机会。这些问题本不该存在。
OMR乐谱识别、音频转录、音乐理解这些AI技术现在都已经可用了，完全可以整合成一个完整的工具链。把PDF转谱成MusicXML后，学生可以跟着流动乐谱、用相同的拍子练习同一乐章，大大降低了小型学校乐团聘请助教帮助合奏练习的成本。让请不起陪练的家庭也能获得AI反馈，让不会打谱的人也能数字化乐谱，让缺乏资本的学生和小乐团得到更公平的学习和演出机会。
TRAE创造力大赛给了我一个把想法落地的契机。更重要的是，我想做一个真正实现音乐教育数字化的工具——不是简单的PDF电子化，而是让乐谱能跟拍子、能互动、能评分；不是限制教学自主权，而是让老师可以导入自己的教材，学生可以练自己喜欢的歌。技术应该服务于人，而不是让人去迁就技术。
3. 关于Demo体验
由于项目依赖本地AI模型（Basic Pitch扒谱、CLaMP3对齐、Audiveris OMR引擎等）内存占用较大，无法部署到云端，提供演示视频展示完整功能流程。
演示视频：
B站：https://www.bilibili.com/video/BV13aNW6TEoL/?vd_source=33881fb3ce4b8736be43b475f2493be6
抖音：8.28 04/23 e@B.Gv :9pm LjC:/ VibeCoding大赏：AI乐谱大师 音乐人之友：AI乐谱大师 解决你转谱的困恼~DEMO演示视频。 # vibecoding大赏 # traeai创造力大赛 # 普通人在AI时代 # TRAE # 人工智能ai艺术 @TRAE.ai @抖音科技 https://v.douyin.com/w8p85Kk7VDs/ 复制此链接，打开Dou音搜索，直接观看视频！
4. TRAE实践过程
开发流程：
整个项目使用TRAE IDE完成，从0到1搭建，包括后端Python模块、前端Vue 3界面、AI模型集成。
阶段一：需求分析与架构设计（6月12日-6月18日）
使用TRAE与AI助手讨论产品定位、功能模块划分、技术选型。AI帮我梳理了7个Agent和10个Skill的架构体系，统一智能体根据用户意图自动切换工作模式。
阶段二：核心功能开发（6月18日-6月27日）
-
PDF转谱模块：集成Audiveris OMR引擎，支持钢琴谱、吉他谱、民乐谱、交响乐谱
-
音频扒谱模块：集成Basic Pitch模型，支持6种乐器模式（钢琴/吉他/小提琴/长笛/乐队/交响乐团）
-
评分模块：基于DTW对齐算法，实现音准/节奏/力度/完整度等六维度评分
-
Web前后端：Vue 3 + FastAPI，统一任务协议，异步任务管理
阶段三：功能优化与测试（6月27日-7月6日）
-
协同模式上线：PDF转谱→渲染参考音频→音频比对评分
-
分乐器评分标准：钢琴/吉他/小提琴/长笛差异化评分配置
-
乐队扒谱体系：6-stem Demucs分离，支持流行乐队和交响乐团
-
PDF预处理管线：自动检测PDF类型，差异化处理文字型/扫描型
关键任务Session ID：
-
Web前后端骨架搭建：
.3625516775255632:b06d297bdae2568f4a5d59dc04b96ab8_6a32e7096b4a083adddabd88.6a33ee0dab6e5ce9cbc0d26f.6a33ee0d56e453085296de79:Trae CN.T(2026/6/18 21:12:25)
-
搭建Vue 3前端骨架 + FastAPI后端三层架构
-
统一任务请求协议，异步任务管理
-
-
音频扒谱功能贯通：
.3625516775255632:8a29d4e6b966dea6a7bbf3726c49740b_6a3781475eb2e3b494373ea5.6a3888e3eb93ce1d35e0cfaf.6a3888e246cce80818216d50:Trae CN.T(2026/6/22 08:59:15)
-
实现Basic Pitch扒谱 + 和弦约束过滤
-
支持B站视频音频下载
-
-
协同模式上线：
.3625516775255632:1e645fd2ac70cac8d2828b10700db7b5_6a3f5fa149324cb9ec5ca7e9.6a3f61f749324cb9ec5ca883.6a3f61f76ef30e11f788fe4d:Trae CN.T(2026/6/27 13:39:03)
-
PDF转谱→音频渲染→DTW比对评分
-
分乐器评分标准 + HTML报告导出
-
-
-
开发截图：
共9张关键步骤截图，展示从架构设计到功能上线的完整过程（见上方配图）。
5. 报名帖链接：
补充说明
技术栈：
-
后端：Python 3.10 + FastAPI + PyTorch + librosa
-
前端：Vue 3 + Element Plus + ECharts + Pinia
-
AI模型：Basic Pitch（扒谱）、CLaMP3（对齐）、Audiveris（OMR）、MERT-v1-330M（乐器识别）
-
部署：本地运行，支持Windows
项目规模：
-
代码量：50+ Python模块，10+ Vue组件
-
知识库：5个权威文档（ABRSM考级标准、Riemann功能和声理论、MusicXML 4.0规范等）
-
版本迭代：从v1.1到v3.2.3，共20+个版本
训练成果：
基于MERT-v1-330M模型，构建了逐阶段递进的乐器识别训练体系：
-
NSynth预训练（阶段1a）：11个乐器族分类，MERT冻结前20层 + 解冻后4层 + 分类头，作为基础特征提取器
-
IRMAS + Medley联合微调（阶段1b）：14类常见乐器（钢琴、吉他、小提琴、长笛、萨克斯、小号等），加载NSynth权重继续训练
-
CTIS中国乐器微调（阶段1c）：212类中国民族乐器（二胡、古筝、琵琶、笛子、唢呐等），约4,470样本，加载IRMAS权重实现迁移学习
-
OpenMIC多标签识别（阶段2a）：20类乐器多标签分类，20,000样本（14,915训练 + 5,085测试），识别多乐器混合音频
-
URMP精细分类（阶段2b）：13类交响乐器，44首曲目的分离音轨（149个文件），覆盖弦乐、木管、铜管
-
鼓点转录（阶段3）：基于Groove MIDI Dataset，CNN+GRU轻量模型，50个epoch训练，val_loss从0.114降至0.072
训练体系采用逐阶段迁移策略——数据量逐级增大、难度逐级提升，让模型在每个阶段都建立在上一阶段基础上。
后续计划：
-
提升识别准确度：加大训练量和调试，从单一乐器到多种乐器，从简单乐谱到复杂乐谱，逐步提升PDF转谱和音频扒谱的准确率。钢琴谱转谱效果较好，其他乐器包括但不限于吉他/小提琴/长笛等乐器还有提升空间。
-
基于现有模型开发更多功能：项目资产库已积累多个AI模型（Basic Pitch扒谱、CLaMP3对齐、Audiveris OMR、MERT乐器识别、DTW评分引擎等），功能开发潜力还很足。后续可以围绕这些模型能力，开发更多音乐场景的实用功能。
-
探索民乐识别和转谱：目前已完成CTIS中国民族乐器识别模型的初步训练（219类），覆盖二胡、古筝、琵琶、笛子、唢呐等。下一步需要扩大训练数据集、优化模型泛化能力，并探索民乐谱的OMR识别和转谱工作，填补市面工具在民乐领域的空白。
-
探索更便捷的部署方式：这是本次比赛我也想向主办方请教的问题——目前大家都能用TRAE进行vibe coding，代码写出来不难，但真正要上线服务用户，个人开发者面临的门槛其实不在技术部署，而在国内的合规环境：软件著作权申请、商标注册、ICP备案、公安备案等等，每一步都是不小的门槛。目前国内还没有形成支持个人开发者快速合规上线的生态，这对于独立开发者来说是一个很大的痛点。希望了解主办方在这方面有什么想法或资源支持。
