vllm error: Hermes 2 Pro Tool parser could not locate tool call start/end tokens in the tokenizer!
#25
by
mengxuanting
- opened
使用vllm v0.6.2 cpu版本 部署MiniCPM3-4B 报错，查看hermes_tool_parser.py，tool call token 如下
但是模型的 vocab 中的是<|tool_call|>，导致没有查找到，这个要如何解决？
mengxuanting
changed discussion status to
closed
mengxuanting
changed discussion status to
open