目的
测试字节和腾讯的内建dsv4.1,与官方相比是否缩水
环境
对比时间是十一假期范围内的中午,
理论上是不用考虑排队的“闲期”
测试用例,生成4000字武侠小说,并在首尾用PowerShell获得时间戳自行报告。
因为只有1轮次,所有消耗都在1个积分左右可以忽视。
结论先行
| 测试对象 | 任务耗时 | 生成耗时(自领) | 备注 |
|---|---|---|---|
| TraeCode(内建 ds v4.1) | 30s | 23.226s | 基准 |
| WorkBuddy | 82s | 35.257s | 额外落盘、测试 bash/powershell 耗时 |
| TraeWork | 36s | 29.449s | — |
| TraeCode + 官方 ds | 30s | 21.69s | 未改思考强度(默认高) |
证据截图
TraeCode内建:
WorkBuddy:
存在两个糟糕情况,请注意
【1. 首先它做了意料之外的尝试将时间和小说落盘(到临时目录),为了公平,我填补了第一句提示词,在Trae环境下实际不需要“所有内容无须落盘”提示】
【2. 它在检查自己能不能用bash、测试了一次powershell能否获得时间,这对于现代Harness纯属浪费时间】
TraeWork
TraeCode+官方ds:
结论
Trae和WorkBuddy的dsv4.1的性能在误差允许可接受范围。
为了避免误差,我重新做2轮TraeCode+内建ds测试,其中自领时间分别是21.220和31.914秒,
认为波动允许范围内可靠。
仅对此例实测有效的:
Trae作为Harness执行效率(Harness对于此例的工作流的优化)优于WorkBuddy





