说一个有可能成为Trae宝致命问题的情况,仅理论推测可能有

想到了如下情况
此情况未实际发生,仅理论推测

如果某个请求我发送的图片,或者Trae宝自行读取的图片
被评为“含敏感信息”

尤其是它自己读取到的情况
这是否会陷入死循环,

在我对Harness理解中,

  1. 如果不回退,之后的所有上下文都会被附带这个图片并形成拒绝
  2. 如果自动回退,trae宝不记得自己读过这个敏感图片,下次还会读,还是拒绝

上述问题最可能发生在加工游戏或者留言的敏感词库时


需要做出区分,上述漏洞如果存在
不是发生在 Trae宝 已经将敏感词或图派发给子 Agent
而是发生在 Trae宝 自行读取或者收到用户的敏感词(尤其是首次未被风控检出但是对应的敏感词或图90%情况下无法通过的情况)

此情况下,Trae宝 自己【无法由用户重开上下文】

以及有2个衍生漏洞可能存在(均为推理,需要实际确认)

  1. Trae宝代替用户改词,尝试绕过审核,这会导致实际提交任务的词与用户希望处理内容不符,典型情况是在游戏中屏蔽了不是用户要求的敏感词,反而屏蔽了差不多的词汇
  2. Trae宝本身必须无硬性的敏感词校验,导致它本身能被用于不法行为
1 个赞