想到了如下情况
此情况未实际发生,仅理论推测
如果某个请求我发送的图片,或者Trae宝自行读取的图片
被评为“含敏感信息”
尤其是它自己读取到的情况
这是否会陷入死循环,
在我对Harness理解中,
- 如果不回退,之后的所有上下文都会被附带这个图片并形成拒绝
- 如果自动回退,trae宝不记得自己读过这个敏感图片,下次还会读,还是拒绝
上述问题最可能发生在加工游戏或者留言的敏感词库时
需要做出区分,上述漏洞如果存在
不是发生在 Trae宝 已经将敏感词或图派发给子 Agent
而是发生在 Trae宝 自行读取或者收到用户的敏感词(尤其是首次未被风控检出但是对应的敏感词或图90%情况下无法通过的情况)
此情况下,Trae宝 自己【无法由用户重开上下文】
以及有2个衍生漏洞可能存在(均为推理,需要实际确认)
- Trae宝代替用户改词,尝试绕过审核,这会导致实际提交任务的词与用户希望处理内容不符,典型情况是在游戏中屏蔽了不是用户要求的敏感词,反而屏蔽了差不多的词汇
- Trae宝本身必须无硬性的敏感词校验,导致它本身能被用于不法行为