首先感谢**Kamfai和 用户12308**两位大佬对于本skill的测评,两份测评也让我对此份skill做了一次优化和反思。提及的一些问题进行答复,也供大家一起参考。
本skill的设计思路补充
这个skill在设计创作过程中,既希望尽可能发挥大模型“智能”方面的优势,形成即“准确”又“千人千面”的效果,又要尽量限制住大模型过多自主发挥,减少“不实”和“幻觉”可能对最后的保险推荐报告造成过多的干扰。经过反复测试和修改,形成目前的一个skill的核心流程。对于评测中的几个问题也恢复探讨如下:
缺乏详细的执行指南、边缘情况处理、常见错误说明等内容。缺少测试指南和评估指标
这也带有一些个人技术价值观,我认为大模型本身已具备很强的处理能力,不应过多在skill中限制或说明。保持skill的简洁性特别重要。这部分会造成skill使用多大的影响,后续会支持观察再进行迭代。
报告模板结构过于固定
内测中发现,目前在SOLO中,采取限制模板,不限制模板内容,这样出来的结果最符合我心目中的推荐报告。如果不采取固定模板,大模型的输出会倾向简略,丢失掉很多必要说明的关键信息。
增加"快速启动"模式,提供标准问卷模板,让用户一次性填写基本信息,再进行深入沟通。
我希望的智能保险顾问中,自然语言的人机交互是很核心的内容。因为保险的推荐很多时候不仅是“明面”信息有关,而且和“隐藏”信息有关。例如,用户对话语气中,对于某个孩子的期望值和偏爱程度有多高,其实影响到对孩子应该投保什么保险。而这些信息如果是标准的问卷模板,只是填写孩子的基本信息,是无法体现出来的。我认为,这也是基于大模型能力的智能保险顾问和很多传统内置算法的智能保险顾问最大的差别。
在后续迭代中,暂不会考虑标准的问卷模板,而是会持续增强大模型对于对话中“隐藏”信息的识别能力和基于“隐藏”信息更准确的推荐能力。
交互灵活性弱:固定报告式输出,无法像通用大模型那样多轮深入对话
在最初版本里面,除了固定的推荐报告输出外,在对话框中也会输出保险推荐方案。但是内测中发现,目前在SOLO中,对话框输出的保险推荐方案会更多受到互联网其他营销文字的语义污染,所以最后选择了要求强制输出带有模板限制的推荐报告,我发现这是SOLO能最严格遵守的核心要求的方式。
并且在最初的版本中,曾经支持对于推荐方案进行追问。但是发现如果支持多轮对话,对话越深入大模型的不可控性就越高。技术价值观上,我个人比较推崇边界性的概念,反对在一个skill中实现过多场景的支持。所以在最终发布版本砍掉了追问的功能。
后续对于多轮对话和咨询的要求是用一个新的skill来实现,还是在这个skill中优化增加功能。我将进一步思考。
已完成优化点:
在报告中明确标注"预估保费仅供参考,实际保费以保险公司报价为准",或链接到保费测算工具。
文件名大小写错误
缺少output/文件夹
健康告知追问不够强制:用户未提供健康状况时,没有强制追问就直接给出了方案
后续优化点:
在规则匹配指南中增加边缘情况章节,提供针对特殊场景的处理建议。
在Python实现中增加执行日志和性能指标收集,便于后续优化。
在健康告知相关回复中增加智能核保、多家公司同时核保等实操建议
在核心避坑、条款科普内容后标注权威来源,提升报告公信力
增加财产险模块
在此感谢两位大佬的厚爱!请大家更多的评测和试用。十分感谢!