ai coding 怎么由黑盒转白盒

在依赖大模型的能力去实现某个功能时,发现ai的结果很不可控。比如我的第一步动作是分析日志,我需要从多种格式的日志,提取出我需要的信息,然后再进行后续各种操作。整个流程完全是黑盒操作,导致我不确定最终产生的结果是否是我需要的,是否有遗漏。

所以我把第一步动作——分析日志,看成一个函数,我需要对这个函数的结果进行判断,是否正确,如果错误了,返回错误原因。并且中断任务流程。相当于有一个对结果检测的流程,但这个检测该如何去实现呢,该怎么去判断大模型提取的数据是否有遗漏呢?

2 个赞

你是怎么定义正确的结果的

2 个赞

太棒了!学习到了 :+1: 这个思路很棒,期待更多内容分享~

2 个赞

遭了,我有点看不懂了

1 个赞

写个python,检查下log

1 个赞

ai coding一直是白盒啊

1 个赞

你去人工检查提取的结果看和AI是不是一样不就行了

1 个赞

有一种编程叫做 spec模式 看下是否满足你需求

1 个赞