BingoXuan

@mingtdlb

显存够用那就直接原版 fp8 ，我用 nv 的 nvpf4 量化，体验比 unsloth 的好

podman run -d --rm \
--name vllm-qwen36-27b \
--device nvidia.com/gpu=all \
--ipc=host \
-p 8000:8000 \
-v $HOME/work/models/Qwen3.6-27B-NVFP4:/models:ro \
vllm/vllm-openai:latest \
--model /models \
--served-model-name qwen3.6-27b \
--dtype bfloat16 \
--kv-cache-dtype fp8_e4m3 \
--max-model-len 147456 \
--max-num-batched-tokens 4096 \
--max-num-seqs 4 \
--enable-chunked-prefill \
--enable-prefix-caching \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--reasoning-parser qwen3 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--attention-backend FLASHINFER \
--override-generation-config '{"repetition_penalty": 1.05}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

@mingtdlb
27B 是 dense ，比起 3.6 的 35B MoE 在代码上还是强得多，体验过就知道了。我测试 llm 都是让 llm 使用 webgpu 实现虚拟示波器。27B 可以实现，需要多跑几轮和更多思考 token 。deepseek v4 flash 甚至第一轮就开始各种报错。这几个月体验下来，27B 可以应付 10k 的小项目。小需求改动或者找 bug 甚至比起 codex 降智的 5.4 要好用（比 copilot 的 5.4 强不少，主要 copilot harness 不行，现在还贵）。最重要是无限输入，等于无限制用 llm 进行索引

@imruiming
是的。但我跑本地模型更多是为了验证没有网络情况下，用本地小模型能节省多少资源和提高多少效率。

不算输入，只有 216k 输出，0.25 度电，按视频 6 毛钱一度电来算，7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ，按照平均生成速度 60tokens/s 。

rootfs 哪里来的？ glibc 用的是哪个版本？这两个都是巨坑。用 conan 配合 docker 交叉编译非常方便，远程 debug 也方便。

上单条 D5 ，不然买板子非常受限。现在我的主机用的是 22/23 年买的 2x32G 笔记本 D5 （迷你主机），主板只能选铭凡的 modt 。只有一条 pcie 5.0x16 。想再多加一块显卡也不行

最后一次 ATM 大额取款是否再检视前不久进行？是否有设立定期存款？是否在一周内进行资金出和入？

@leena
就三个，其中两个都成了噩梦/doge/

@leena
几乎所有前女友都成了我的噩梦，还是不要梦见好