怎么匹配正确的上下文窗口

内置的DPV4PRO只有200K上下文,接入自定义模型,无论是哪个,都只有128K上下文窗口,严重限制了模型能力,而且自定义模型显示的只有图片理解,没有推理模式

1 个赞

我们看下这个问题

1 个赞

我理解你的问题了,自定义模型确实目前只支持固定的 128K 上下文窗口,而且默认显示为"图片理解"模式。

关于上下文窗口:现在自定义模型暂时不能自由选择更大的上下文窗口,系统会统一使用 128K。

关于推理模式:自定义模型目前默认被归类为"图片理解"类型,但这只是显示标签,实际的推理能力还是取决于你接入的模型本身。

你可以告诉我一下你接入的是什么自定义模型吗?这样我能更准确地帮你看看情况。

1 个赞

我看很多人反馈过好多次了,用别的也就算了,用火山的plan也一样128K上下文

2 个赞

同问,我也遇到这个问题了
200k的上下文只能用128k,这不是浪费资源吗

2 个赞

或者干脆直接加一个自定义上下文的开关,这么等着一个个适配也不是个事啊

1 个赞