【TRAE】TRAE帮我虾儿独立部署大模型7b经历~~~

TRAE+龙虾:lobster:+7B本地大模型,i5 16G Windows10,毫无压力!

昨天还很开心跟大家分享了这个喜讯~然后,后来却发现,我遗漏了一件事。qwen:7b 模型不支持工具调用(function calling)

无比难过,但是听到了一个新消息,qwen2.5:7b,可以支持,喜大普奔~立马让TRAE帮我下载安装。

就是这么快乐~

一直奋战到晚上12点多~终于成功!又能愉快使唤虾了!

快乐来的慢,但是去的快啊!虾儿似乎有点耳背!

好吧!果然还是性能不够。 :expressionless_face:

2 个赞

我上次就是弄的几个ollama的小模型 效果很不行,害得是大模型,hh,就得是 流水一般token流逝,才能好用也许,目前个人是这么感觉,需要更好的模型

1 个赞

我也尝试过ollama部署qwen3.5的模型,配合openweb访问响应速率还可以,但是我用docker桌面版+wsl2部署出来的小龙虾,感觉笨笨的而且经常缺少权限,让他自主生成测试脚本,生成了结果好像没权限运行 :rofl:

2 个赞

龙哥太牛了

1 个赞

后面搜了一些文档,说是minimax的效果可能会好一点(没实际应用过,玩了两天小龙虾就没动他了,因为体验一般)

2 个赞

3.5的 我也试过,感觉他笨笨的,不能理解我说的什么,感觉已经不是智能体的问题了,

我也是,反复的下载安装删除了好几次hhh 现在就是每天用一下飞书的那个龙虾 免费百万token 暂时,每天

对,我也是遇到这个问题了

1 个赞

今天行情可以,赞助我一个4090吧,数字哥

2 个赞

昨天告诉你了,你自己没有上,自己的4090自己努力 :rofl:

1 个赞