在 onnxruntime.quantization.quantize_dynamic 函数中，有几个关键参数决定了速度提升幅度和精度损失程度。

---

🚀 ONNX 动态量化：核心参数调优指南

1. weight_type (权重数据类型)

作用：决定模型权重被压缩成什么类型。这是影响体积和速度的最大因素。

选项	说明	初始/默认值	推荐选择	效果对比
QuantType.QUInt8	无符号 8 位整数 (0~255)	✅ QUInt8	QUInt8	速度最快，体积最小。CPU 推理首选。
QuantType.QInt8	有符号 8 位整数 (-128~127)	-	QInt8	某些特定算子下精度略好，但速度通常不如 QUInt8。

• 建议：保持 QuantType.QUInt8。在 RoBERTa 这种 Transformer 架构上，QUInt8 在 CPU 上的加速效果最好。

2. per_channel (每通道量化)

作用：是否为每个输出通道（Output Channel）单独计算缩放因子（Scale）和零点（Zero Point）。

选项	说明	初始/默认值	推荐选择	效果对比
True	每个通道独立量化	❌ False	✅ True	精度更高。因为不同通道的权重分布差异大，独立量化能减少误差。
False	整个张量共享一个缩放因子	-	False	速度极微快，但精度损失较大，尤其是对于分类任务。

• 建议：务必设为 True。这对维持 F1 分数至关重要，速度损失几乎可以忽略不计。

3. reduce_range (缩小数值范围)

作用：是否将权重的量化范围从 [-128, 127] 缩小到 [-64, 63] 或类似范围，以防止某些算子溢出。

选项	说明	初始/默认值	推荐选择	效果对比
False	使用完整 8-bit 范围	✅ False	False	精度更好。现代 CPU 和 ONNX Runtime 版本通常能处理好溢出问题，不需要缩小范围。
True	缩小范围以防溢出	-	True	仅在遇到特定算子报错或精度严重异常时尝试开启。

• 建议：保持 False。除非你在量化后看到 Logits 出现极大的异常值（如 NaN 或 Inf），否则不要开。

4. extra_options (高级微调选项)

这是一个字典，里面包含了很多“隐藏”开关。针对 RoBERTa/BERT 类模型，以下几个最关键：

A. ActivationSymmetric (激活值对称量化)

• 默认：False
• 建议：True
• 理由：RoBERTa 的激活值（Attention 输出等）通常分布比较对称。开启对称量化可以简化计算逻辑，显著提升推理速度，且对精度影响极小。

B. WeightSymmetric (权重对称量化)

• 默认：True
• 建议：保持 True
• 理由：权重通常也是对称分布的。

C. EnableSubgraph (子图融合)

• 默认：False
• 建议：True
• 理由：允许量化器进入更深的子图进行优化，通常能带来额外的速度提升。

D. AddQDQPairToWeight (添加 Q/DQ 对)

• 默认：False
• 建议：保持 False (动态量化通常不需要)
• 理由：这主要用于静态量化或需要导出中间量化节点的场景。动态量化中开启可能会增加不必要的开销。

---

🛠️ 优化后的量化代码示例

大哥，建议你修改代码中的第 4. 动态量化 部分，采用以下“黄金配置”：

# ================= 4. 动态量化 (优化版) =================
print("📉 进行高性能动态量化...")

# 🔥 黄金配置 extra_options
extra_opts = {
    'WeightSymmetric': True,          # 权重对称量化
    'ActivationSymmetric': True,      # 🔥 关键：激活值对称量化，提速显著
    'EnableSubgraph': True,           # 🔥 关键：启用子图优化
    'ForceQuantizeNoInputCheck': False, # 保守策略，避免错误量化
    'MatMulConstBOnly': False,        # 对所有 MatMul 进行量化，最大化提速
    'DefaultTensorType': onnx.TensorProto.FLOAT # 处理未知类型
}

quantize_dynamic(
    model_input=model_for_quant,
    model_output=QUANTIZED_PATH,
    
    # 🔥 核心参数
    weight_type=QuantType.QUInt8,     # 8-bit 无符号整数，CPU 最快
    per_channel=True,                 # 🔥 关键：每通道量化，保精度
    reduce_range=False,               # 不缩小范围，保精度
    
    use_external_data_format=False,   # 单文件存储，方便部署
    extra_options=extra_opts          # 传入高级选项
)

print(f"✅ 量化模型保存至: {QUANTIZED_PATH}")

---

📊 如何评估量化效果？

量化不是越狠越好，你要在 速度 和 精度 之间找平衡。

1. 精度验收标准

运行你代码最后的 evaluate 部分，对比 PyTorch (FP32) 和 ONNX (INT8) 的结果：

指标	优秀标准	合格标准	不合格 (需调整)
F1 Score 下降	< 0.5%	< 1.5%	> 2.0%
Logits 最大误差	< 0.1	< 0.3	> 0.5
分类一致性	99% 样本预测一致	95% 一致	< 90% 一致

• 如果 F1 下降超过 2%：
  1. 检查是否开启了 per_channel=True。
  2. 尝试关闭 ActivationSymmetric (设为 False)。
  3. 如果还不行，考虑改用 静态量化 (Static Quantization)，但这需要校准集，复杂度较高。

2. 速度验收标准

在你的 batch_inference_onnx 函数中加入计时：

import time

start_time = time.perf_counter()
# ... 推理循环 ...
end_time = time.perf_counter()

inference_time_ms = (end_time - start_time) * 1000 / len(texts)
print(f"平均每条推理耗时: {inference_time_ms:.2f} ms")

• 预期效果：
  • FP32 ONNX: ~20-30 ms/条 (取决于 CPU)
  • INT8 ONNX: ~8-15 ms/条
  • 提速倍数: 通常能达到 2x ~ 3x。

---

💡 进阶建议：如果动态量化精度掉太多怎么办？

如果你发现 INT8 动态量化导致 F1 掉了 3% 以上，说明模型对权重精度非常敏感。这时你有两个选择：

1. 混合精度量化：只量化 Linear 层，保留 Attention 层的 FP32。

   • 在 extra_options 中添加：'OpTypesToExclude': ['Attention', 'LayerNormalization']}
   • 这会牺牲一点速度，但能大幅挽回精度。

2. 静态量化 (Static Quantization)：

   • 使用 quantize_static。
   • 需要一个小的校准集（Calibration Dataset，比如 100-500 条代表性数据）。
   • 它会统计激活值的真实分布，从而计算出更精准的 Scale/Zero Point。
   • 效果：精度几乎无损，速度比动态量化更快。

先按上面的“黄金配置”跑一遍动态量化。如果 F1 下降在 1% 以内，那就直接上线，不用折腾静态量化了！