CANN 推理引擎对比：ACL、ATC、Torch-NPU 三种推理方式深度解析

昇腾上跑推理有多种方式，ACL、ATC、Torch-NPU 各有各的适用场景。这篇帮你搞清楚什么时候该用哪个。

---

三种推理方式横向对比

| 对比维度 | Torch-NPU | ATC+ACL | MindSpore Lite |
-----------------------------------|
| 模型格式 | .pth | .om | .ms |
| 性能 | 一般 | 最优 | 中等 |
| 部署难度 | 低 | 中 | 中 |
| 量化支持 | FP16 | INT8/FP16 | INT8/FP16 |
| 内存占用 | 高 | 低 | 低 |
| 适用场景 | 算法实验 | 生产部署 | 边缘设备 |

---

一、Torch-NPU 推理

1.1 工作流程

训练脚本 → 直接加载 → NPU 推理

Torch-NPU 的优势是简单，模型训练完直接就能跑。不用转换，不用额外工具，几行代码搞定。但代价是性能一般，框架开销大。

import torch
import torch_npu

# 设备设置
device = torch.device("npu:0")

# 模型加载
model = torch.load("model.pth").to(device)
model.eval()

# 数据准备
input_data = torch.randn(1, 3, 224, 224).to(device)

# 推理
with torch.no_grad():
    output = model(input_data)

print(output.shape)

1.2 性能瓶颈

Torch-NPU 本质上是把 PyTorch 的算子替换成 NPU 版本，框架开销还在。对小模型影响不大，但大模型、大 batch 的场景，框架开销会成为主要瓶颈。

| 场景 | 框架开销占比 |
-----------------|
| 小模型 (参数量 < 10M) | 20-30% |
| 中模型 (参数量 10M-1B) | 30-50% |
| 大模型 (参数量 > 1B) | 50-70% |

1.3 适用场景

• 快速验证算法思路
• 小规模推理任务
• 开发调试阶段

---

二、ATC + ACL 推理

2.1 工作流程

PyTorch → ONNX → ATC 编译 → .om 离线模型 → ACL 运行时

这种方式把模型编译成昇腾的离线格式，运行时不需要框架，直接调用硬件算子，性能最好。

2.2 模型转换

# 第一步：导出 ONNX
python -c "
import torch
model = torch.load('model.pth')
model.eval()
torch.onnx.export(model, (torch.randn(1,3,224,224),), 'model.onnx')
"

# 第二步：ATC 编译
atc --model=model.onnx \
    --framework=5 \
    --output=model \
    --soc_version=Ascend910 \
    --input_shape="input:1,3,224,224"

2.3 ACL 推理代码

import acl

# 初始化
acl.init()

# 加载模型
model_path = "model.om"
model_id = acl.mdl.load_model(model_path)

# 创建输入
input_data = torch.randn(1, 3, 224, 224).numpy()
input_tensor = acl.mdl.create_tensor(input_data)

# 推理
output_tensor = acl.mdl.execute(model_id, input_tensor)

# 后处理
output = output_tensor.numpy()

# 释放资源
acl.mdl.unload_model(model_id)
acl.finalize()

2.4 性能对比

| 模型 | Torch-NPU | ATC+ACL | 性能提升 |
-----------------------------|
| ResNet50 | 45ms | 12ms | 3.8x |
| ViT-B | 120ms | 35ms | 3.4x |
| Swin-T | 80ms | 22ms | 3.6x |

2.5 适用场景

• 生产环境部署
• 延迟敏感任务
• 大规模推理服务

---

三、MindSpore Lite 推理

3.1 工作流程

PyTorch/MindSpore → 转换工具 → .ms 模型 → Lite 推理

MindSpore Lite 是面向端侧和边缘场景的推理引擎，支持 INT8 量化，模型体积小，适合资源受限的设备。

3.2 模型转换

# 转换模型
converter --modelType=ONNX \
    --modelFile=model.onnx \
    --outputFile=model.ms \
    --quantType=INT8

3.3 端侧推理代码

import mindspore_lite as mslite

# 初始化
mslite.set_device(mslite.NPU)

# 加载模型
model = mslite.Model()
model.build_from_file("model.ms")

# 推理
input_tensor = model.get_inputs()[0]
input_tensor.set_data_from_numpy(input_data)

output_tensor = model.predict(input_tensor)
result = output_tensor.to_numpy()

3.4 量化效果

| 量化方式 | 模型大小 | 内存占用 | 精度损失 |
----------------------------|
| FP32 | 100MB | 150MB | 0% |
| FP16 | 50MB | 80MB | < 1% |
| INT8 | 25MB | 40MB | < 3% |

---

四、选择决策树

开始
  │
  ├─ 算法实验 / 快速验证？
  │    └─ 是 → Torch-NPU
  │
  ├─ 生产环境 / 追求性能？
  │    └─ 是 → ATC + ACL
  │
  └─ 边缘设备 / 资源受限？
       └─ 是 → MindSpore Lite

---

五、实战建议

5.1 开发阶段

先用 Torch-NPU 快速验证算法，代码改动小，调试方便。等算法稳定后再考虑性能优化。

5.2 部署阶段

根据性能要求选择：延迟敏感用 ATC+ACL，资源受限用 MindSpore Lite 量化版。

5.3 优化顺序

1. 先 Torch-NPU 跑通流程
2. 再 ATC 转 .om 测基线
3. 最后量化压缩

---

相关仓库

• ACL - 昇腾运行时 API https://gitee.com/ascend/ascend-toolkit
• ATC - 模型转换编译器 https://gitee.com/ascend/atc
• MindSpore - 端侧推理引擎 https://gitee.com/mindspore/mindspore