在依赖大模型的能力去实现某个功能时,发现ai的结果很不可控。比如我的第一步动作是分析日志,我需要从多种格式的日志,提取出我需要的信息,然后再进行后续各种操作。整个流程完全是黑盒操作,导致我不确定最终产生的结果是否是我需要的,是否有遗漏。
所以我把第一步动作——分析日志,看成一个函数,我需要对这个函数的结果进行判断,是否正确,如果错误了,返回错误原因。并且中断任务流程。相当于有一个对结果检测的流程,但这个检测该如何去实现呢,该怎么去判断大模型提取的数据是否有遗漏呢?
在依赖大模型的能力去实现某个功能时,发现ai的结果很不可控。比如我的第一步动作是分析日志,我需要从多种格式的日志,提取出我需要的信息,然后再进行后续各种操作。整个流程完全是黑盒操作,导致我不确定最终产生的结果是否是我需要的,是否有遗漏。
所以我把第一步动作——分析日志,看成一个函数,我需要对这个函数的结果进行判断,是否正确,如果错误了,返回错误原因。并且中断任务流程。相当于有一个对结果检测的流程,但这个检测该如何去实现呢,该怎么去判断大模型提取的数据是否有遗漏呢?
你是怎么定义正确的结果的
太棒了!学习到了
这个思路很棒,期待更多内容分享~
遭了,我有点看不懂了
写个python,检查下log
ai coding一直是白盒啊
你去人工检查提取的结果看和AI是不是一样不就行了
有一种编程叫做 spec模式 看下是否满足你需求