能否针对tpm/rpm限制,做一些规避的参数设置?以及自动重试?

没钱,在使用一些免费的大模型做简单的小程序,但是这些模型往往tpm/rpm限制给的更低,所以如果trae能慢一点工作,避免触碰这些限制,减少我手动点击重试的话,以及,如果本身trae能自己过一会尝试重试的话,感觉整个无人值守体验会更好一些

2 个赞

trae太猛。

我试过反馈火山引擎的付费token plan触发高频限制
需要注意就是字节自家的,并且月费200块钱

当时也提出了和楼主差不多内容

但被要求向火山反馈
之后不了了之


回到正题

可以自己做。

在本地(要求trea)做OpenAI兼容的代理,
trae访问代理程序,代理程序实际维护API_KEY,以及真正访问模型

这个代理是很有价值的,
它实际还能起到router作用
也就是能将请求分发给多个免费服务器,
将每个会话路由到不同的免费服务器,多开会话加速薅毛

2 个赞

感谢 :folded_hands: ,我去试一试

1 个赞

需要注意必须识别每会话转相同服务器,

否则缓存不命中

与免费服务器的价格无关,不命中明显影响速度(尤其是长上下文)

2 个赞