内置的DPV4PRO只有200K上下文,接入自定义模型,无论是哪个,都只有128K上下文窗口,严重限制了模型能力,而且自定义模型显示的只有图片理解,没有推理模式
1 个赞
我们看下这个问题
1 个赞
我理解你的问题了,自定义模型确实目前只支持固定的 128K 上下文窗口,而且默认显示为"图片理解"模式。
关于上下文窗口:现在自定义模型暂时不能自由选择更大的上下文窗口,系统会统一使用 128K。
关于推理模式:自定义模型目前默认被归类为"图片理解"类型,但这只是显示标签,实际的推理能力还是取决于你接入的模型本身。
你可以告诉我一下你接入的是什么自定义模型吗?这样我能更准确地帮你看看情况。
1 个赞
我看很多人反馈过好多次了,用别的也就算了,用火山的plan也一样128K上下文