【学习工作赛道】本地优先多模型路由 Agent —— 你的 AI 工作助手

TRAE AI 创造力大赛 【大赛报名专区】
1

【学习工作赛道】本地优先多模型路由 Agent —— 你的 AI 工作助手

赛道：学习工作 - 造个新解法
创作工具：TRAE IDE（中国版）

一、Demo 简介

是什么：一个本地优先、隐私安全的 AI 工作助手桌面应用系统。核心机制：Router 自动决策 → 专业模型执行 → 工具调用循环。采用 Tauri + Vue 原生桌面 GUI + Python Flask 后端架构，支持 CLI、HTTP API、GUI 三种交互方式。

面向谁：

  • 关注隐私安全的用户（本地优先，数据不出电脑，敏感文档、商业代码放心使用）

  • 需要多模型协作的 AI 开发者（Router 自动选择最适合的模型，无需手动切换）

  • 希望降低 AI 使用成本的用户（本地 Ollama 免费运行，云端模型可选兜底）

  • 学习工作中的所有人（代码辅助、信息查询、文件自动化、图片分析）

主要功能：

  1. 多模型智能路由：Router 自动分析任务特征，选择最适合的模型（Coder 处理代码、General 处理问答、Vision 处理图片、Cloud 处理复杂推理）。硬规则 + LLM 双重决策机制 + 历史记忆学习。

  2. 本地优先架构：基于 Ollama 本地推理引擎运行，所有数据在本机处理，不上传云端。无需网络连接即可使用。云端模型仅作为可选兜底。

  3. ReAct 工具调用循环：支持文件读写、时间获取、数学计算、命令执行、信息搜索等工具调用。内置危险命令拦截保障安全。最大 12 步迭代完成复杂任务。

  4. 原生桌面 GUI：Tauri + Vue 3 构建科技风格界面，安装包仅 20-30MB，启动秒开。ChatGPT 式对话布局，支持历史记录和多轮对话上下文。

二、Demo 创作思路

灵感来源：
随着 AI 模型的多样化（代码、视觉、推理等），用户往往需要手动选择不同模型来处理不同任务——代码找 Codex，图片找 Vision，推理找 GPT-4。这个过程本身就是一种负担。更关键的是，很多用户因为隐私顾虑不敢用 AI 处理真正重要的事（合同、代码、个人信息）。我希望构建一个智能路由系统，让用户只需一句话输入，系统自动选择最适合的模型处理，同时所有数据在本地完成。

想解决的问题：

  • 隐私顾虑：使用云端 AI 时数据上传服务器，敏感文档、个人代码、商业信息面临泄露风险

  • 模型选择困难：面对众多模型（代码模型、问答模型、视觉模型等），普通用户不知道哪个最合适

  • 成本控制问题：云端 API 按量计费成本高，本地模型免费但功能单一

为什么做这个方向：

  • 本地优先符合隐私保护趋势（个人数据不出电脑）

  • 多模型路由提升效率（自动选择最优模型，降低使用门槛）

  • Tauri 原生桌面应用体验更好（比 Web 应用更流畅，体积更小）

  • ReAct 工具调用让 Agent 能完成真实操作（不是只会聊天）

三、Demo 体验地址

体验方式 1：浏览器界面预览（推荐）

界面预览地址：https://ab84828f3ced41d69aeef6cb9942d1a2.app.codebuddy.work

注：此为前端界面预览，Agent 功能需要本地后端服务支持。完整体验需下载项目运行。

体验方式 2：本地运行完整功能

bash

# 1. 安装 Ollama（https://ollama.com/download）
# 2. 拉取模型
ollama pull qwen2.5:3b
ollama pull qwen2.5-coder:14b
ollama pull qwen3.5:9b
ollama pull qwen2.5vl:3b

# 3. 克隆项目
git clone [项目地址]

# 4. 安装依赖
pip install -r requirements.txt

# 5. 启动 Agent（CLI 模式）
python agent_runner.py "帮我写一个快速排序"

# 6. 启动 Agent（GUI 模式）
python start_gui.py

体验方式 3：HTTP API 调用

bash

# 启动 API 服务
python api.py

# 调用 Agent
curl -X POST http://localhost:5000/api/agent/run \
  -H "Content-Type: application/json" \
  -d '{"query": "现在几点？"}'

# 查看可用模型
curl http://localhost:5000/api/agent/models

四、TRAE 实践过程

1. 项目架构设计

关键步骤：

  • 设计 Router → Coder/Vision/General/Cloud 多模型路由架构

  • 设计 Tauri + Vue 前端 + Python Flask 后端分离架构

  • 定义 HTTP API 通信协议（5 个 REST 接口）

  • 设计 ReAct 循环执行流程（max 12 steps）

2. Router 多模型路由实现

关键步骤：

  • 实现 Router 模型（qwen2.5:3b）自动决策逻辑

  • 实现硬规则匹配（关键词正则快速路由）

  • 实现 LLM 路由决策（Router 模型分析复杂任务）

  • 实现历史记忆学习（RouterMemory 类记录成功模式）

  • 实现 ReAct 循环（思考→行动→观察→再思考）

  • 实现工具调用（read_file、write_file、get_time、calculate、shell、search）

  • 实现危险命令拦截（rm -rf、mkfs 等黑名单）

  • 实现 fallback 机制（模型调用失败自动切换到 general）

3. GUI 界面开发

关键步骤：

  • 使用 Tauri + Vue 构建科技风格界面

  • 实现深色主题（渐变背景 + 发光效果 + 网格纹理）

  • 实现 ChatGPT 式对话布局（消息流 + 输入区）

  • 实现历史记录和多轮对话上下文

  • 实现一键启动脚本（start_gui.py）

4. 部署优化

关键步骤：

  • 实现 Ollama 状态自动检测（ollama_check.py）

  • 优化一键启动脚本（端口检测、依赖安装、进程管理）

  • 修复编码兼容性问题

  • 实现彩色 CLI 输出和进度条

  • 实现日志系统（logger.py）

补充说明

技术栈：

  • 前端：Tauri 2.0 + Vue 3 + Vite

  • 后端：Python 3.12 + Flask + Ollama

  • 模型：qwen2.5:3b（Router）、qwen2.5-coder:14b（Coder）、qwen3.5:9b（General）、qwen2.5vl:3b（Vision）、gpt-4o-mini（Cloud）

项目亮点：

  • :house: 本地优先（隐私安全，数据不出电脑）

  • :brain: 多模型智能路由（硬规则 + LLM + 历史记忆三重决策）

  • :wrench: ReAct 工具调用（6 个工具 + 危险命令拦截 + 12 步迭代）

  • :desktop_computer: 原生桌面应用（Tauri 20-30MB，秒开）

  • :high_voltage: CLI + API + GUI 三模式（一套后端三种入口）

开发时长：约 2 天（架构设计 1 天 + 功能实现 1 天）

显存优化：专为 RTX 3060 6GB 优化，Router 常驻 + 执行模型按需加载，Ollama 自动换入换出管理显存

创意产物展示页.html (40.3 KB)

【学习工作赛道】本地优先多模型路由 Agent — 初赛 Demo 作品