llama.cpp 是把模型转成 GGUF 再跑，Intel 还有一条原生 OpenVINO GenAI 管线：直接加载官方预转换的 OpenVINO IR（INT4-AWQ），权重质量更有保证。我在 Arc 140T 核显上把它跑通了 gemma-4-26B-A4B 官方原版。这篇是完整跑通记录，重点是那个「必须 VLMPipeline + 强制 SDPA」的诡异坑。
结论：已跑通 ✅。环境：Windows / Arc 140T（19.7GB）/ Python 3.12.10 / openvino-genai 2026.5.0 nightly。模型：官方预转换 IR OpenVINO/gemma-4-26b-a4b-it-int4-ov（INT4 AWQ，14.6GB）。2026-09 实测。
成绩单
| 指标 | 结果 |
|---|---|
| 模型加载 | 41.6s |
| 吞吐（throughput） | 15.7 t/s |
| TTFT（首 token） | 167ms |
| TPOT（每 token） | 64ms/token |
| pp512 / tg128 | 500 / 13.7~14.0 t/s（warmup 后中位数，跨脚本复现两次） |
| 质量 | 复杂问答/翻译/创作/chat 多轮记忆全部正确，无乱码 |
跑通的三步关键
- 必须用 VLMPipeline 而非 LLMPipeline（LLMPipeline 报 input_ids 找不到，因输入是 inputs_embeds）
- 强制 SDPA 后端绕过 Continuous Batching（CB/PA）适配器：
VLMPipeline(MODEL_DIR, "GPU", **{"ATTENTION_BACKEND": "SDPA"})，否则报 EMBEDDINGS 断言失败 - 补全缺失的 openvino_text_embeddings_model.xml（首个 aria2 下载批次静默失败，导致 embedder 创建异常）——校验目录内 16 个必需小文件都在
与 llama.cpp Vulkan 对比
同一官方模型、同为 4-bit 精度：
| 路线 | pp512 (t/s) | tg128 (t/s) |
|---|---|---|
| llama.cpp Vulkan（GGUF Q4_0，13.6GB） | 285.30 | 20.04 |
| OpenVINO GenAI（IR INT4-AWQ，默认配置） | 500 | 13.7~14.0 |
预填充 GenAI 快 ~75%，输出 Vulkan 快 ~46%。差距来自 MoE 后端实现（Vulkan 对 MoE 有异步专家调度优化），非参数可调。GenAI 的价值是官方 INT4-AWQ 权重质量更好，可作备选路线。
12 条坑清单
| # | 坑 | 解法 | 状态 |
|---|---|---|---|
| 1 | 必须 VLMPipeline，LLMPipeline 的 input_ids 找不到 | Gemma-4 被 GenAI 注册为 VLM-only，纯文本也走 VLMPipeline | ✅ |
| 2 | OV 2026.2 stateful 解码 bug（首个 token 正常后乱码） | 用 2026.3-dev nightly（GenAI + runtime 同装） | ✅ |
| 3 | 连续批处理（CB）需 2026.4 修正栈，空转/错乱 | 强制 ATTENTION_BACKEND=SDPA 走经典 stateful 管线 | ✅ |
| 4 | router 不能 INT4 量化（仅自转时） | OVWeightQuantizationConfig ignored_scope 排除 router；官方 IR 已内置 | ✅ |
| 5 | 纯 INT4 无 AWQ 在 MoE 上质量差 | 官方 int4-ov 质量实测无问题 | ✅ |
| 6 | 整模型必须进显存，19.7GB 紧张 | 调显存后 + 缩短上下文；IR 13.3GB 稳跑 | ✅ |
| 7 | transformers 版本（仅自转时） | pip install transformers==5.5.0（12B 用 5.10.0） | ⏳ |
| 8 | 32K 长上下文 rope LUT patch | 显存只够短上下文，跳过 | ⏳ |
| 9 | HF 直连超时 | hf-mirror.com 镜像（注意分批校验文件完整性） | ✅ |
| 10 | GPU 支持 preview 级 | Arc 140T 实际实测（15.7 t/s） | ✅ |
| 11 | Gemma-4 是视觉模型，文本按 multimodal 处理 | 文本直接 generate 即可 | ✅ |
| 12 | DYNAMIC_QUANTIZATION_GROUP_SIZE 长上下文乱码 | 设为 0（实测正常无需特殊处理） | ✅ |
环境要求
| 组件 | 版本 |
|---|---|
| OpenVINO Runtime | 2026.2.0+（官方 IR 卡要求）/ 2026.3-dev nightly（GPU 干净解码） |
| openvino-genai (pip) | 与 OpenVINO nightly 配套 |
| optimum-intel | 1.27.0+（转换用，本机跑推理可不装） |
| transformers | 5.5.0（若需自己导出；12B 需 5.10.0） |
总结
- OpenVINO GenAI 是 llama.cpp 之外的成熟备选：官方 INT4-AWQ 权重，预填充更快，TTFT 167ms 很舒服
- 核心坑就两个：VLMPipeline + 强制 SDPA，记住了就不折腾
- 长上下文（529+ token）偶发 CL_OUT_OF_RESOURCES 是驱动 bug（报错自带 'Due to a driver bug'），非显存不足，忽略即可
- 追求生成速度仍选 llama.cpp Vulkan（20+ t/s），追求官方权重质量选 GenAI
下载提醒：hf-mirror 下载后务必逐文件校验完整性（首批批次会静默漏文件，导致 embedder 创建异常但没报错）。