【学习工作赛道】本地优先多模型路由 Agent — 初赛 Demo 作品

【学习工作赛道】本地优先多模型路由 Agent — 初赛 Demo 作品帖

赛道:学习工作 - 造个新解法
创作工具:TRAE IDE(中国版)


一、Demo 简介

是什么:一个本地优先、隐私安全的 AI 工作助手桌面应用系统。核心机制:Router 自动决策 → 专业模型执行 → 工具调用循环。采用 Tauri + Vue 原生桌面 GUI + Python Flask 后端架构,支持 CLI、HTTP API、GUI 三种交互方式。

面向谁

  • 关注隐私安全的用户(本地优先,数据不出电脑,敏感文档、商业代码放心使用)

  • 需要多模型协作的 AI 开发者(Router 自动选择最适合的模型,无需手动切换)

  • 希望降低 AI 使用成本的用户(本地 Ollama 免费运行,云端模型可选兜底)

  • 学习工作中的所有人(代码辅助、信息查询、文件自动化、图片分析)

主要功能

  1. 多模型智能路由:Router 自动分析任务特征,选择最适合的模型(Coder 处理代码、General 处理问答、Vision 处理图片、Cloud 处理复杂推理)。硬规则 + LLM 双重决策机制 + 历史记忆学习。

  2. 本地优先架构:基于 Ollama 本地推理引擎运行,所有数据在本机处理,不上传云端。无需网络连接即可使用。云端模型仅作为可选兜底。

  3. ReAct 工具调用循环:支持文件读写、时间获取、数学计算、命令执行、信息搜索等工具调用。内置危险命令拦截保障安全。最大 12 步迭代完成复杂任务。

  4. 原生桌面 GUI:Tauri + Vue 3 构建科技风格界面,安装包仅 20-30MB,启动秒开。ChatGPT 式对话布局,支持历史记录和多轮对话上下文。


二、Demo 创作思路

灵感来源
随着 AI 模型的多样化(代码、视觉、推理等),用户往往需要手动选择不同模型来处理不同任务——代码找 Codex,图片找 Vision,推理找 GPT-4。这个过程本身就是一种负担。更关键的是,很多用户因为隐私顾虑不敢用 AI 处理真正重要的事(合同、代码、个人信息)。我希望构建一个智能路由系统,让用户只需一句话输入,系统自动选择最适合的模型处理,同时所有数据在本地完成。

想解决的问题

  • 隐私顾虑:使用云端 AI 时数据上传服务器,敏感文档、个人代码、商业信息面临泄露风险

  • 模型选择困难:面对众多模型(代码模型、问答模型、视觉模型等),普通用户不知道哪个最合适

  • 成本控制问题:云端 API 按量计费成本高,本地模型免费但功能单一

为什么做这个方向

  • 本地优先符合隐私保护趋势(个人数据不出电脑)

  • 多模型路由提升效率(自动选择最优模型,降低使用门槛)

  • Tauri 原生桌面应用体验更好(比 Web 应用更流畅,体积更小)

  • ReAct 工具调用让 Agent 能完成真实操作(不是只会聊天)


三、Demo 体验地址

体验方式 1:浏览器界面预览(推荐)

界面预览地址https://ab84828f3ced41d69aeef6cb9942d1a2.app.codebuddy.work

注:此为前端界面预览,Agent 功能需要本地后端服务支持。完整体验需下载项目运行。

体验方式 2:下载项目包本地运行(完整体验)

项目下载包:本地Agent-参赛项目包.zip(附件上传)

安装步骤:

bash

# 1. 安装 Ollama(https://ollama.com/download)
# 2. 拉取模型
ollama pull qwen2.5:3b
ollama pull qwen2.5-coder:14b
ollama pull qwen3.5:9b
ollama pull qwen2.5vl:3b

# 3. 安装依赖
pip install -r requirements.txt

# 4. 启动 Agent(CLI 模式)
python agent_runner.py "帮我写一个快速排序"

# 5. 启动 Agent(GUI 模式)
python start_gui.py

体验方式 3:HTTP API 调用

bash

# 启动 API 服务
python api.py

# 调用 Agent
curl -X POST http://localhost:5000/api/agent/run \
  -H "Content-Type: application/json" \
  -d '{"query": "现在几点?"}'

# 查看可用模型
curl http://localhost:5000/api/agent/models


四、TRAE 实践过程

1. 项目架构设计

关键步骤

  • 设计 Router → Coder/Vision/General/Cloud 多模型路由架构

  • 设计 Tauri + Vue 前端 + Python Flask 后端分离架构

  • 定义 HTTP API 通信协议(5 个 REST 接口)

  • 设计 ReAct 循环执行流程(max 12 steps)

2. Router 多模型路由实现

关键步骤

  • 实现 Router 模型(qwen2.5:3b)自动决策逻辑

  • 实现硬规则匹配(关键词正则快速路由)

  • 实现 LLM 路由决策(Router 模型分析复杂任务)

  • 实现历史记忆学习(RouterMemory 类记录成功模式)

  • 实现 ReAct 循环(思考→行动→观察→再思考)

  • 实现工具调用(read_file、write_file、get_time、calculate、shell、search)

  • 实现危险命令拦截(rm -rf、mkfs 等黑名单)

  • 实现 fallback 机制(模型调用失败自动切换到 general)

3. GUI 界面开发

关键步骤

  • 使用 Tauri + Vue 构建科技风格界面

  • 实现深色主题(渐变背景 + 发光效果 + 网格纹理)

  • 实现 ChatGPT 式对话布局(消息流 + 输入区)

  • 实现历史记录和多轮对话上下文

  • 实现一键启动脚本(start_gui.py)

关键任务对话 Session ID(不少于 3 个,证明作品由 TRAE 开发完成)

Session ID 任务主题 时间
6a532f8d0017f4540f94b141.6a5336cf0017f4540f94b261.6a5336cfc2a2925e37ba2c15 Router 决策逻辑优化与安全审查 2026/7/12 14:40
6a532f8d0017f4540f94b141.6a5333cc0017f4540f94b209.6a5333ccc2a2925e37ba2c11 项目 README 文档编写与架构说明 2026/7/12 14:27
6a532f8d0017f4540f94b141.6a53300f0017f4540f94b161.6a53300fc2a2925e37ba2c0f 工具调用安全漏洞检查与拦截逻辑优化 2026/7/12 14:11

Session ID 获取方式:在 TRAE IDE 中双击对话即可复制 Session ID。

4. 部署优化

关键步骤

  • 实现 Ollama 状态自动检测(ollama_check.py)

  • 优化一键启动脚本(端口检测、依赖安装、进程管理)

  • 修复编码兼容性问题

  • 实现彩色 CLI 输出和进度条

  • 实现日志系统(logger.py)


五、创意产物

创意产物1:项目架构与功能展示页(见附件:创意产物展示页.html)

  • 包含架构图、路由决策流程、ReAct循环演示、四大功能演示卡片、模型配置表、项目亮点、技术难点与解决方案等完整可视化展示

创意产物2:项目功能展示页(见附件:项目功能展示页.html)

  • 包含完整架构图、Router路由流程图、ReAct执行示例、模型配置表、界面截图占位区、项目亮点卡片、技术难点与解决方案等

六、项目亮点总结

:house: 本地优先:数据不出电脑,隐私安全。Ollama本地推理,无需网络

:brain: 多模型智能路由:硬规则+LLM+历史记忆三重决策,用户一句话输入,系统自动选最优模型

:wrench: ReAct 工具调用:6个安全工具+危险命令拦截+12步迭代,不只是聊天能完成真实操作

:desktop_computer: 原生桌面应用:Tauri构建,20-30MB秒开,科技风深色界面,ChatGPT式对话布局

:high_voltage: CLI+API+GUI三模式:一套后端三种入口,开发者CLI、集成API、普通用户GUI

:bullseye: 显存优化:RTX3060 6GB即可运行,Router常驻+执行模型按需加载+Ollama自动换入换出


七、技术栈

  • 前端:Tauri 2.0 + Vue 3 + Vite

  • 后端:Python 3.12 + Flask + Ollama

  • 模型:qwen2.5:3b(Router)、qwen2.5-coder:14b(Coder)、qwen3.5:9b(General)、qwen2.5vl:3b(Vision)、gpt-4o-mini(Cloud)


八、补充说明

开发时长:约 2 天(架构设计 1 天 + 功能实现 1 天)

显存优化:专为 RTX 3060 6GB 优化,Router 常驻 + 执行模型按需加载,Ollama 自动换入换出管理显存

【学习工作赛道】本地优先多模型路由 Agent —— 你的 AI 工作助手

本地Agent-参赛项目包.zip (93.7 KB)