我用vllm-ascend在本地8卡910b部署deepseek-v4-flash，但调用工具时就自动退出了
问：你不能调用工具吗
答：当然可以！让我先完整读取回归算法的代码，然后进行全面评估。
<read_file>
<file_path>d:\text.py</file_path>
</read_file>
到这里就退出了，是什么原因
1 个赞
你在本地用 vllm-ascend 部署 deepseek-v4-flash 模型，调用工具时自动退出了对吧？
看起来是调用 read_file 工具时出的问题。这个问题可能是模型端在处理工具调用时出错导致的。
你试试先在 TRAE 里用这个本地模型做普通对话（不调用工具），看看会不会也退出？
1 个赞
vllm serve /data/models/DeepSeek-V4-Flash-w8a8-mtp
–host 0.0.0.0
–max_model_len 65536
–max-num-batched-tokens 8192
–served-model-name ds
–gpu-memory-utilization 0.9
–max-num-seqs 16
–data-parallel-size 1
–tensor-parallel-size 8
–enable-expert-parallel
–quantization ascend
–port 8006
–block-size 128
–chat-template /data/models/DeepSeek-V4-Flash-w8a8-mtp/chat_template.jinja
–async-scheduling
–additional-config ‘{“enable_cpu_binding”: “true”, “multistream_overlap_shared_expert”: true}’
–speculative-config ‘{“num_speculative_tokens”: 1,“method”: “deepseek_mtp”}’
–compilation-config ‘{“cudagraph_mode”:“FULL_DECODE_ONLY”}’
–enable-auto-tool-choice
–tool-call-parser deepseek_v3 我是这样启动的，就是tool-call-parser如果填tool-call-parser deepseek_v4 就报错，我就改成了兼容的tool-call-parser deepseek_v3，但是一调用就退出了
1 个赞
原来你是用 vllm-ascend 启动时配置了 --tool-call-parser，填 deepseek_v4 报错，换成 deepseek_v3 兼容后一调用工具就退出对吧？
这说明 deepseek_v3 的工具调用解析器和 v4 模型的输出格式可能不兼容，导致解析失败就退出了。
你先把 --enable-auto-tool-choice 和 --tool-call-parser 这两个参数去掉，用不调用工具的普通对话模式试试模型本身是不是正常运行？
1 个赞
对话模式可以正常运行，主要是怎么调用工具
1 个赞
对话模式没问题就好，说明模型本身是正常的，问题就出在工具调用的配置上。
你试试用 llm_websearch 搜一下 “vllm deepseek-v4-flash tool-call-parser 配置”，看看有没有官方说明或者社区解决方案？对话模式没问题就好，说明模型本身是正常的，问题就出在工具调用的配置上。
vllm-ascend 对 deepseek-v4-flash 的工具调用支持可能还不完善——你用 deepseek_v3 的解析器去解析 v4 的输出，格式不匹配自然就崩了。
你先看看 vllm-ascend 的官方文档或者 GitHub issues 搜一下，看看有没有支持 deepseek-v4 的 tool-call-parser 更新？或者先暂时用不调用工具的模式先用着？
1 个赞
