HAMP-LIC：基于Hessian感知混合精度量化的学习型图像压缩部署优化

学习型图像压缩（Learned Image Compression, LIC）这几年在率失真性能上已经追得很近了，但真正把它推到生产环境时，最常见的问题不是压缩效果不够好，而是模型太重、推理太贵。这次我们来看一个针对这个问题的算法工作：HAMP-LIC，全称是 Hessian-Aware Mixed-Precision Post-Training Quantization for Learned Image Compression，翻译过来就是“面向学习型图像压缩的 Hessian 感知混合精度训练后量化”。

HAMP-LIC 要解决的事很具体：一个已经训练好的 LIC 模型，包含分析变换、超先验网络、上下文模型、熵参数网络等多个子模块，全部用 FP32 跑，显存和算力开销都不小。如果直接套用通用 INT8 训练后量化，重建质量又容易崩。HAMP-LIC 的思路是用损失函数对权重和激活的二阶导数信息——也就是 Hessian——来衡量每个子模块对量化误差的敏感度，然后给不同模块分配不同位宽，敏感的部分保留 8bit，不敏感的部分压到 4bit 甚至更低，全程不需要重新训练模型。

这篇文章我会做四件事：先把 LIC 量化难在哪讲清楚；再拆解 HAMP-LIC 的三个核心技术点，包括 Hessian 感知、混合精度位宽分配、训练后量化流程；接着给出一套可以照着做的复现与验证流程，覆盖环境准备、校准数据、敏感度分析、位宽分配和率失真评估；最后整理工程部署和排查建议。

如果你正在做 LIC 模型的端侧部署、服务端推理优化，或者在做神经图像压缩方向的研究，这篇文章可以直接收藏。如果你只是需要把图片压小一点，那 HAMP-LIC 不是一个开箱即用的压缩软件，它是一个方法框架，需要结合具体 LIC 模型和推理框架使用。

1. 核心能力速览

下面进入正题。

2. 解决什么问题：LIC 模型的量化部署困境

2.1 LIC 模型为什么部署难

LIC 模型通常采用自编码器结构，核心模块包括分析变换网络、合成变换网络、超先验编解码网络，以及用于估计概率分布的上下文模型和熵参数网络。训练完成后，推理流程大致是：输入图像经过分析变换得到潜在特征，特征经过量化后送入熵编码器；解码端先通过熵解码得到潜在特征，再经合成变换重建图像。

这套结构有两个部署难点。

第一，模型体积大。一个完整的 LIC 模型往往包含多组卷积层和自注意力模块，FP32 参数总量从几十 MB 到几百 MB 不等，对边缘设备不友好。

第二，计算路径长。图像从输入到输出，数据要经过主编码器、熵模型、超先验、主解码器多个阶段，每个阶段的计算量都不小。如果全部保持 FP32 精度，显存占用和推理延迟都会成为瓶颈。

所以，量化是 LIC 模型落地的关键环节。量化之后的模型体积可以显著下降，INT8 或者混合精度模型在支持硬件加速的推理框架里，推理速度通常也有明显提升。

2.2 通用 PTQ 在 LIC 模型上为什么容易失败

很多团队一开始会直接用现成的 PTQ 工具，比如 TensorRT 的 INT8 校准、ONNX Runtime 的 QOperator，去量化 LIC 模型。结果经常是：分类模型量化后精度损失很小，但 LIC 模型量化后重建图像出现明显伪影，甚至码流大小都会异常波动。

问题主要出在三个方面。

第一，LIC 模型的中间特征分布与分类网络差异很大。分类网络关心的是最后输出的 logits 排序关系，而 LIC 模型需要精确重建像素值。中间特征一旦被量化，误差会沿合成变换网络逐层放大，最终体现在重建图像的纹理细节上。

第二，量化误差会传导到熵编码链路。LIC 模型的码率控制依赖熵模型对潜在特征分布的概率估计。激活量化后，概率估计和实际分布之间产生偏差，熵编码器的实际码率可能偏离预期，甚至出现编解码端失配。

第三，子模块敏感度极不均匀。主编码器前几层、超先验网络、上下文模型对整个率失真损失的敏感度往往不同。统一量化到 INT8，等于把精度预算平均分配，浪费在那些对量化不敏感的结构上。这也是混合精度量化在 LIC 模型上尤其有价值的原因。

2.3 HAMP-LIC 的解决思路

HAMP-LIC 的做法是引入 Hessian 信息来指导量化位宽的分配。通过计算损失函数对每个子模块权重或激活的二阶导数，得到各个位置对量化扰动的敏感度，然后在“总位宽预算”约束下做混合精度分配。敏感度高的层分配更多比特，敏感度低的层分配到更少比特。这样，即使平均位宽低于 INT8，也能维持较好的率失真性能。

一句话概括：不做一刀切量化，而是把量化误差控制在感知和率失真损失影响最小的区域。

3. HAMP-LIC 核心原理拆解

3.1 训练后量化：低成本的模型压缩手段

训练后量化（Post-Training Quantization, PTQ）指模型训练完成后，使用少量校准数据统计激活分布，将权重和激活从 FP32 转换到低比特表示，而不需要重新训练模型。

PTQ 的优点是成本低、周期短。对已经训练好的 LIC 模型，只需要准备几百张代表性图像作为校准集，就能完成量化。相比量化感知训练（QAT）动辄要重新训练多个 epoch，PTQ 更适合快速迭代和已有模型的部署场景。

PTQ 的难点在于如何控制量化误差对最终损失的影响。通用的最小化量化误差方法不一定最优，因为同样的权重扰动，在不同层引起的最终损失变化差异巨大。这就引出了 Hessian 分析。

3.2 Hessian 感知：量化敏感度的二阶度量

量化一个权重矩阵，等同于给权重引入了一个扰动 ΔW。损失函数的变化可以用泰勒展开来近似：

ΔL ≈ g^T ΔW + 1/2 ΔW^T H ΔW

其中 g 是梯度，H 是损失对权重的 Hessian 矩阵。由于量化误差通常较小，一阶项和二阶项基本决定了损失变化量。在训练收敛后的模型里，梯度通常接近零，所以二阶项往往占据主导。

H 越大，说明该层权重微小的扰动也会引起损失较大的变化，量化这一层就需要更高位宽。反之，H 小的层对量化不敏感，可以用更低位宽。

Hessian 矩阵直接计算代价非常高，实际使用中有几种近似方案：

• 对角近似：只取 Hessian 的对角元素，忽略不同权重之间的协方差。
• Hutchinson 估计器：通过随机向量与 Hessian 的乘积来估计矩阵迹。
• 块对角近似：将 Hessian 按层或按通道分块，块内计算二阶信息。
• Fisher 信息矩阵近似：在分类和生成模型中，Fisher 矩阵常被用作 Hessian 的替代指标。

HAMP-LIC 的“Hessian 感知”就是在混合精度量化流程中使用这类二阶信息作为敏感度指标。相比只看一阶梯度或权重范数，Hessian 能更准确地反映量化扰动对率失真损失的真实影响。

3.3 混合精度：把位宽花在最敏感的地方

混合精度量化的目标，不是让所有层都用同一位置宽，而是在总位宽预算下，最小化量化对率失真损失的影响。它的本质是一个约束优化问题。

假设模型有 L 个子模块，每个子模块候选位宽为 b_i，量化后对损失的增量估计为 ΔL_i(b_i)，目标可以写为：

min Σ ΔL_i(b_i) s.t. Σ b_i * N_i ≤ B_total

其中 N_i 是该子模块的参数量或激活量，B_total 是总位宽预算。

求解这类问题通常有两种方式：

• 贪心算法：每次选择敏感度最高、收益最大的子模块增加位宽，直到预算用尽。
• 动态规划或可微搜索：将位宽分配当作离散优化问题，用搜索或松弛方法求解。

HAMP-LIC 的做法本质上是借助 Hessian 信息来构造 ΔL_i(b_i) 的估计，再求解位宽分配。它的关键创新点在于把 LIC 模型的特殊性考虑进去：不仅要考虑权重量化，还要考虑激活量化与熵模型之间的耦合关系。

3.4 HAMP-LIC 的整体流程

从方法层面看，HAMP-LIC 的整体流程可以概括为以下步骤：

1. 加载已经训练好的 FP32 LIC 模型。
2. 准备少量校准图像，前向计算得到各层激活值。
3. 对每个候选量化位宽，估计量化误差带来的损失增量。
4. 使用 Hessian 信息计算各个子模块的敏感度。
5. 在给定总位宽预算下求解混合精度 bit allocation。
6. 按分配结果量化模型，在校准集上微调量化范围或尺度参数。
7. 输出混合精度量化模型，并评估率失真性能。

这个流程与一般 PTQ 相比，多出的关键步骤是“Hessian 敏感度计算”和“混合精度位宽分配”。如果要做工程复现，这两部分也是工作量最大的地方。

4. 环境准备与复现前置条件

HAMP-LIC 的方法实现通常基于 PyTorch 或 TensorFlow，你需要准备一个可以运行目标 LIC 模型的 Python 环境。以下是一份通用检查清单，具体版本以实际项目代码依赖为准。

4.1 运行环境

4.2 依赖安装示例

# 建议使用 conda 创建独立环境 conda create -n hamp-lic python=3.9 conda activate hamp-lic # 安装 PyTorch，根据本机 CUDA 版本选择对应命令 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 科学计算与工具库 pip install numpy scipy tqdm tensorboard

这段命令是通用环境准备模板，实际项目可能还需要额外安装特定的 LIC 模型库和评估工具。

4.3 模型与数据准备

你需要准备的东西包括：

• 一个训练好的 LIC 模型权重文件；
• 一个可加载模型并完成前向推理的代码库；
• 一个用于测试压缩效果的图像集，常用的是 Kodak、CLIC 或 Tecnick；
• 一个用于量化校准的小型图像集，一般几百张即可，不需要带标签。

HAMP-LIC 方法里不涉及训练一个全新的 LIC 模型，所以不需要大规模训练集。如果你手上已经有能运行 LIC 模型的代码，直接在此基础上加入 Quant 分析和位宽分配逻辑即可。

5. 复现与验证流程：从校准到率失真评估

下面给出一套可操作的方法验证流程。这里的代码都是流程示意，不是 HAMP-LIC 官方脚本，实际使用时需要根据你的 LIC 模型代码库调整。

5.1 准备校准数据集

校准集用于统计激活分布、估计量化误差。建议从验证集中随机挑选 100-500 张图像，尽量覆盖不同场景：人像、风景、城市建筑、含文字的图像等。

import os from torch.utils.data import DataLoader, Dataset from PIL import Image import torchvision.transforms as transforms class CalibDataset(Dataset): def __init__(self, image_dir, size=256): self.paths = [os.path.join(image_dir, p) for p in os.listdir(image_dir)] self.transform = transforms.Compose([ transforms.Resize((size, size)), transforms.ToTensor(), ]) def __len__(self): return len(self.paths) def __getitem__(self, idx): img = Image.open(self.paths[idx]).convert("RGB") return self.transform(img).unsqueeze(0)

校准集数量不是越多越好。PTQ 校准通常几百张足够，过多会显著增加敏感度计算时间。

5.2 计算各模块 Hessian 敏感度

这一步是 HAMP-LIC 的核心。要估计每个子模块在量化后的损失增量，常见做法是对每个候选位宽构造量化噪声，然后通过 Hessian 近似计算损失变化。

def compute_module_sensitivity(model, calib_loader, loss_fn, module_name): """ 计算某个子模块的 Hessian 敏感度近似值 这里使用 Fisher/对角 Hessian 近似做示意 """ model.eval() sensitivity = 0.0 total_samples = 0 for batch in calib_loader: # 前向计算率失真损失 x = batch.to(device) y = model(x) loss = loss_fn(x, y) # 计算该模块参数的梯度，梯度平方和作为 Hessian 对角近似 grads = torch.autograd.grad(loss, getattr(model, module_name).parameters(), retain_graph=True, allow_unused=True) flat_grad = torch.cat([g.flatten() for g in grads if g is not None]) sensitivity += (flat_grad ** 2).sum().item() total_samples += x.size(0) return sensitivity / total_samples

注意，这里用梯度平方和近似 Hessian 只是一种工程化近似。更严格的 Hessian 估计需要结合 Hutchinson 或 Fisher 方法，具体以论文实现为准。

5.3 混合精度位宽分配

拿到各模块在不同位宽下的敏感度后，可以做位宽分配。下面是一个贪心分配的简化示意。

def greedy_bit_assignment(sensitivity_per_module, param_counts, candidate_widths=[2, 4, 6, 8], total_budget_mb=5): """ 贪心分配位宽：每次给敏感度下降收益最大的模块增加位宽 """ modules = list(sensitivity_per_module.keys()) current_width = {m: min(candidate_widths) for m in modules} current_bits = sum(param_counts[m] * current_width[m] for m in modules) while True: best_gain = 0 best_module = None best_next_width = None for m in modules: idx = candidate_widths.index(current_width[m]) if idx >= len(candidate_widths) - 1: continue next_width = candidate_widths[idx + 1] gain = sensitivity_per_module[m][next_width] - sensitivity_per_module[m][current_width[m]] cost = (next_width - current_width[m]) * param_counts[m] if cost + current_bits <= total_budget_mb * 8 * 1024 * 1024: if gain > best_gain: best_gain = gain best_module = m best_next_width = next_width if best_module is None: break current_width[best_module] = best_next_width current_bits += (best_next_width - candidate_widths[candidate_widths.index(best_next_width) - 1]) * param_counts[best_module] return current_width

实际项目中，位宽分配还要考虑硬件是否支持、算子是否实现等因素。如果目标推理框架只支持 4bit 和 8bit，位宽候选集就应该是 [4, 8]，而不是 [2, 4, 6, 8]。

5.4 率失真性能评估

量化结束后，需要对比 FP32 模型和量化模型在相同图像集上的率失真性能。常用指标包括：

• PSNR：峰值信噪比，衡量重建图像与原始图像的像素级误差；
• MS-SSIM：多尺度结构相似性，更接近主观感知；
• BD-Rate：相对于参考编码器的平均码率节省，是图像压缩领域最常用的综合指标；
• 文件大小与压缩比。

import numpy as np import math def compute_psnr(img1, img2, max_val=1.0): """ 计算 PSNR，img1 和 img2 为 [0, 1] 范围的张量 """ mse = np.mean((img1 - img2) ** 2) if mse < 1e-10: return float("inf") psnr = 10 * math.log10(max_val ** 2 / mse) return psnr

PSNR 和 MS-SSIM 只能看单张图质量。如果要比较两种配置的整体压缩效率，需要跑多个目标码率点，利用率失真曲线计算 BD-Rate。

5.5 判断成功的标准

判断 HAMP-LIC 复现是否成功，可以从三个维度看：

1. 模型体积是否下降：量化后模型文件体积是否明显小于 FP32 模型。
2. 重建质量是否可控：在相同码率下，量化模型的 PSNR 或 MS-SSIM 是否接近 FP32 模型，差距应在可接受范围。
3. 码率是否稳定：量化模型的输出码率不能出现剧烈波动，不能因为量化导致熵编码概率估计严重失配。

如果量化后 PSNR 掉了大量，优先检查敏感度计算和位宽分配逻辑；如果码率异常，优先检查激活量化对熵模型输入的影响。

6. 部署接口与批量推理思路

HAMP-LIC 方法本身不提供服务端 API，但量化后的模型最终要落到某个推理框架里。可以结合 ONNX Runtime、TensorRT 或 OpenVINO 进行部署。

6.1 模型导出

把量化模型的权重和结构导出为 ONNX，可以方便接入不同推理后端。

# 以 PyTorch 导出 ONNX 为例 import torch dummy_input = torch.randn(1, 3, 256, 256) torch.onnx.export( quantized_model, dummy_input, "hamp_lic_quantized.onnx", input_names=["input"], output_names=["reconstructed"], opset_version=13, dynamic_axes={"input": {0: "batch"}}, )

导出 ONNX 后，可以用 ONNX Runtime 的量化接口或 TensorRT 的 int8 模式加载，进一步获得硬件加速。

6.2 推理接口设计

量化模型部署的接口可以设计成简单的图像压缩服务：

import requests # 以 HTTP 接口为例，假设服务运行在 127.0.0.1:8000 response = requests.post( "http://127.0.0.1:8000/compress", json={"image_path": "test.png", "quality": 5}, timeout=30, ) result = response.json() print(result["output_path"], result["bitrate"])

这里给出的是通用接口调用模板，具体路径和参数需要与后端服务实现保持一致。

6.3 批量任务与失败重试

批量压缩图像时，建议按以下思路设计任务队列：

• 输入目录和输出目录分离，避免污染原始素材；
• 每个任务记录日志，包括原图路径、码率、PSNR、耗时；
• 失败任务自动重试一次，重试仍失败则跳过并写入失败列表；
• 批量处理时设置并发数，防止显存或内存溢出。

7. 资源占用与性能观察方法

性能观察是验证量化效果的重要环节。重点关注几个维度。

7.1 显存占用

模型未量化时，如果 FP32 推理在 8GB 显存边缘运行，量化后的显存释放不一定和位宽降低比例完全一致，因为激活计算和框架实现也会影响实际占用。建议用nvidia-smi直接观察。

# 每 1 秒刷新一次 GPU 状态 nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 1

7.2 模型体积与推理延迟

对比 FP32 和量化模型：

这些数据必须基于实际运行环境测量，不同硬件、不同LIC结构差异很大。

7.3 影响性能的关键因素

• 校准图像数量和质量：校准集分布偏离测试集，会导致量化后性能下降；
• 位宽候选集合：候选位宽越少，分配结果越不精确，但实际硬件支持度更高；
• 敏感度估计误差：Hessian 近似方法的选择直接影响位宽分配的准确性；
• 推理框架算子支持：部分框架对低比特算子的底层实现效率不高，可能抵消位宽减少的收益。

8. 常见问题与排查方法

9. 最佳实践与使用建议

9.1 先跑通 FP32 基线

在引入量化之前，先确保 LIC 模型在目标图像集上的 FP32 率失真曲线是稳定的。基线不扎扎实实，后面量化问题很难定位。

9.2 从简单位宽组合开始

不要一开始就上 2bit 到 8bit 的大搜索空间。建议先测试两种配置：全 INT8 和 4bit/8bit 混合。确认流程跑通后，再扩大位宽候选集。这样能更快定位是流程问题还是位宽分配问题。

9.3 校准集和测试集分离

校准集用于确定量化参数，测试集用于评估最终效果。两者不能重叠，否则量化器会过拟合校准集，测试结果虚高。

9.4 敏感度计算要覆盖权重和激活

LIC 模型里，激活量化对重建质量的影响往往比权重量化更大，尤其是进入熵编码链路的激活。做位宽分配时，权重和激活一定要分开估算敏感度，不能混为一谈。

9.5 目标硬件决定位宽方案

不同的推理硬件对混合精度的支持差异很大。有些硬件支持 4bit 整数计算，有些只支持 8bit。HAMP-LIC 给出一套方法，但实际选哪些位宽，要由目标硬件和推理框架算子表决定。

9.6 合规与版权提醒

如果你把 HAMP-LIC 量化后的 LIC 模型用于生产，需要特别注意几点：

• 训练和测试数据集的版权归属；
• 模型权重本身的开源协议和商用限制；
• 如果基于他人已训练模型做量化，需要确认模型授权是否允许二次加工和部署；
• 不要使用未经授权的人像、包含敏感信息的图像作为校准集或测试集。

10. 总结与下一步

HAMP-LIC 值得尝试的核心点是把 Hessian 感知引入混合精度量化，从而解决 LIC 模型“一刀切量化”的质量损失问题。它不是一个成品工具，而是一条更精细的模型压缩路线。

如果你准备开始验证，我建议从这几个步骤入手：

1. 选一个已经在 PyTorch 里跑通的 LIC 模型；
2. 用 200 张左右校准图像完成 Hessian 敏感度分析；
3. 先跑 4bit/8bit 混合配置，对比全 INT8 和 FP32 的 PSNR 与 BD-Rate；
4. 确认量化损失可控后，再扩展到更多位宽候选集和不同推理框架。

最容易踩的坑有两个：一是只算权重敏感度、忽略激活量化，导致熵模型输入分布失配；二是校准集过少或分布偏差过大，导致量化后性能不稳定。

后续可以继续探索的方向包括：把 HAMP-LIC 的位宽分配从离线贪心换成可微搜索、与知识蒸馏结合做进一步压缩、以及适配更接近硬件底层的整数算子实现。

技术文章先写到这里。如果你也在做 LIC 模型或图像压缩模型的量化部署，建议收藏备用，动手跑一遍比只看原理理解深得多。