TraeCode、TraeWork、WorkBuddy,以及官方dsv4.1生成速度对比。Trae经受住了考验

目的

测试字节和腾讯的内建dsv4.1,与官方相比是否缩水

环境

对比时间是十一假期范围内的中午,
理论上是不用考虑排队的“闲期”
测试用例,生成4000字武侠小说,并在首尾用PowerShell获得时间戳自行报告。
因为只有1轮次,所有消耗都在1个积分左右可以忽视。

结论先行

测试对象 任务耗时 生成耗时(自领) 备注
TraeCode(内建 ds v4.1) 30s 23.226s 基准
WorkBuddy 82s 35.257s 额外落盘、测试 bash/powershell 耗时
TraeWork 36s 29.449s —
TraeCode + 官方 ds 30s 21.69s 未改思考强度(默认高)

证据截图

TraeCode内建:

WorkBuddy:
存在两个糟糕情况,请注意
【1. 首先它做了意料之外的尝试将时间和小说落盘(到临时目录),为了公平,我填补了第一句提示词,在Trae环境下实际不需要“所有内容无须落盘”提示】
【2. 它在检查自己能不能用bash、测试了一次powershell能否获得时间,这对于现代Harness纯属浪费时间】



TraeWork

TraeCode+官方ds:

结论

Trae和WorkBuddy的dsv4.1的性能在误差允许可接受范围。
为了避免误差,我重新做2轮TraeCode+内建ds测试,其中自领时间分别是21.220和31.914秒,
认为波动允许范围内可靠。

仅对此例实测有效的:
Trae作为Harness执行效率(Harness对于此例的工作流的优化)优于WorkBuddy

3 个赞

wb对于命令行控制,尤其是执行windows命令确实体验很差

对于wb和trae这样已经有预留非常非常长 上万token的系统上下文/SKILL/插件/MCP/记忆/USER/SOUL 等等的harness来说,效率问题不太好直接对比

我觉得那几个以短系统上下文harness表现应该会更好(比如pi, dsh极简模式)

2 个赞

此外,

Trae 作为 Harness 具备了良好的交付器(deliver)概念

仅在 Trae 中,Agent 能正确地识别出生成小说的副产物,需要“交付”的是执行时间
而 WorkBuddy 会将小说和时间混合成回答输出

1 个赞