/tags/chat-template/ Recent content in Chat Template on Hugo -- gohugo.io en Mon, 20 Apr 2026 12:15:00 +0800 /posts/vllm-qwen36-preserve-thinking/ Mon, 20 Apr 2026 12:15:00 +0800 /posts/vllm-qwen36-preserve-thinking/ TL;DR Qwen3.6 的 preserve_thinking 是写在模型 chat template 里的 Jinja 变量，不是 vLLM CLI 标志。 正确启用方式：--default-chat-template-kwargs '{"preserve_thinking": true}'。 在双机 DGX Spark 集群上用一台开、一台关做 A/B 对照：同样输入下 prompt tokens 55 vs 51（差 4 tokens 就是保留下来的历史 <think> 块），completion tokens 355 vs 382（关掉后模型重新"想"一遍）。 起因 Reddit 的一篇文章提到 Qwen3.6 随 KV cache 修复一起 “ships preserve_thinking flag”（原文链接）。集群里跑的正好是 Qwen3.6-35B-A3B-FP8（reasoning parser qwen3），想在两台 DGX Spark 上把这个开关打开。 参数归属：chat template 而非 vLLM CLI 这里"flag"是个容易误导的措辞。Qwen3.6 的 chat_template.jinja 里写着： {%- if (preserve_thinking is defined and preserve_thinking is true) or (loop.