终极抉择：lift-oQ5 vs oQ4/oQ6/oQ8——速度、内存与精度的量化对比

终极抉择：lift-oQ5 vs oQ4/oQ6/oQ8——速度、内存与精度的量化对比

【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5

在 Apple Silicon 上本地跑视觉语言模型做 PDF/图片结构化提取，量化对比是绕不开的话题。mlx-community 出品的lift-oQ5，是 9B 级 Qwen3.5 架构视觉模型的 oQ 混合精度量化版本，能把发票、合同等文档直接提取成符合 Schema 约束的 JSON。面对 oQ4、oQ5、oQ6、oQ8 四个量化档位，选哪个才是速度、内存与精度的最优解？本文用数据说话，帮你一次选明白。

一、先认识 lift-oQ5：专为文档提取而生的量化模型

lift-oQ5 是 datalab-to/lift 的 MLX 社区转换版，底层是 9B 参数的Qwen3_5ForConditionalGeneration视觉语言模型，核心场景只有一个：把 PDF / 图片中的信息，抽取为结构化的 JSON 数据。

它采用的 oQ 量化（由 oMLX 工具生成）与常规均匀量化不同——这是一种数据驱动的逐层混合精度量化，会根据每一层对输出的敏感程度分配不同的位宽。以 oQ5 为例，平均约 5 bits/权重，但在 config.json 中可以看到，部分关键层（如linear_attn.in_proj_a/b）保留了 8-bit，部分down_proj、v_proj保留 6-bit，敏感层用高位宽、冗余层用低位宽，这就是 oQ5 能"以小博大"的秘密。

💡 简单说：oQ 不是简单地把所有权重砍到 5-bit，而是"好钢用在刀刃上"的智能降位。

二、核心量化对比：一张表看懂四个档位

官方在 README.md 中给出了完整对比数据（测试环境：MacBook Pro M5 Max 128GB、40 GPU 核心，单图发票提取）：

作为参照，未量化的 bf16 原版高达 18 GB、峰值内存 19.9 GB、速度仅 31 t/s。量化带来的收益一目了然。

三、速度对比：从 58 到 100 t/s，量化如何影响生成速度

生成速度是很多用户最关心的指标，直接决定了批处理文档的效率。

• oQ8：58 t/s，比 bf16 快了近一倍，但仍是量化家族中最慢的；
• oQ6：73 t/s，中规中矩；
• oQ5：83 t/s，比 oQ8 快约43%，属于"甜点速度"；
• oQ4：100 t/s，速度登顶，比 oQ8 快 72%。

规律很明显：位宽每降一档，模型体积更小、内存带宽压力更小，token 生成速度就肉眼可见地提升。如果你每天要处理成百上千张票据，oQ5 与 oQ4 之间约 20% 的速度差，可能意味着每天省下几十分钟。

四、内存对比：你的 Mac 能带得动哪个版本？

内存是选型的硬约束，先看能不能跑，再谈跑得快不快。

• 16GB 内存 Mac：oQ5（峰值 8.4 GB）与 oQ6（峰值 9.4 GB）都能流畅运行，还留有充足余量给浏览器和其他应用；
• 8GB 内存 Mac：oQ5 的 8.4 GB 峰值已逼近上限，oQ4 的 7.2 GB 峰值才是更稳妥的选择，甚至能多开几个服务；
• 高配 Mac（32GB+）：oQ6 / oQ8 完全无压力，可以放心追求更高精度。

值得一提的是，模型文件本身只有 6.7 GB（见 model.safetensors.index.json 中的权重分片），下载和磁盘占用都很友好，这也是量化模型最大的实用价值——让 9B 级视觉模型真正"飞入寻常百姓家"。

五、精度对比：低比特量化会牺牲多少提取准确率？

精度是量化的"代价"，也是必须正视的部分。

• 上游未量化的 lift（9B FP）在 Datalab 的 225 份文档基准上，字段级准确率达90.2%；
• 官方用简单测试发票验证了 oQ3~oQ8 全系变体，都能正确完成提取，说明常规场景下量化没有导致"崩坏"；
• 但官方也明确提示：位宽越低，在更困难、对抗性更强的文档上精度退化风险越大，全系并未做过大规模重测。

因此，oQ5 的意义在于：用约 1/3 的 bf16 体积，换来了日常文档提取几乎无感的精度损失——它处在"代价可接受、收益最大化"的平衡点上。

六、终极抉择：不同用户该如何选择？

综合速度、内存与精度，直接给出选型建议：

一句话总结：没有"最好的量化档位"，只有"最适合你的档位"。对绝大多数个人与中小团队，oQ5 就是那个无需纠结的答案。

七、快速上手：5 分钟跑起 lift-oQ5

在 Apple Silicon 上使用只需一行命令（通过 mlx-vlm 自动加载模型，无需手动下载权重）：

uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ5 \ --image invoice.png \ --prompt "Extract the invoice as JSON." \ --max-tokens 800

更进阶的玩法是启动 OpenAI 兼容服务器，配合response_format传入 JSON Schema，让模型在解码阶段就保证输出合法 JSON（底层由 llguidance 强制约束）：

uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ5 --port 8080

如果你希望离线保存一份权重，也可以直接克隆仓库：

git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ5

八、使用小贴士

• EOS 修复已内置：generation_config.json 设置了eos_token_id: [248044, 248046]，防止服务器模式无限输出<|im_end|>，开箱即用；
• 许可证注意：权重采用修改版 OpenRAIL-M，允许研究、个人及 500 万美元以下初创企业免费使用，但与 Datalab 官方 API 构成竞争的商业场景需谨慎；
• 动手验证：本地跑一张真实发票，对比 oQ4 与 oQ8 的输出差异，用你自己的数据做最终裁决。

量化不是玄学，而是可量化的工程权衡。看完这份速度、内存与精度的量化对比，相信你已经有了自己的答案——如果追求一步到位的均衡体验，直接选择lift-oQ5，它不会让你失望。

【免费下载链接】lift-oQ5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ5