Kornia：PyTorch 上的可微分计算机视觉库

Kornia 在 GitHub 上收获了 11,222 Star。

这是一个基于 PyTorch 构建的可微分计算机视觉库，提供了 500 多个图像处理和几何视觉算子。它的定位很明确：传统 CV 操作在深度学习框架里全部可微分，梯度可以自然流通。项目最近在往端到端视觉模型方向演进，正在集成 VLM（视觉语言模型）和 VLA（视觉语言代理）能力。

1、Kornia 解决什么问题

用 PyTorch 做视觉任务的开发者都经历过这个流程：OpenCV 读图、预处理、转张量、送进网络，每一步数据都要在 numpy 和张量之间来回搬运。更头疼的是，如果想对预处理步骤求梯度，传统 CV 库做不到。

Kornia 把这条路打通了。图像滤波、几何变换、色彩增强、边缘检测、立体视觉、光流，所有这些操作直接在 GPU 张量上执行，梯度自动传播。一个张量进去，一个张量出来，不需要在框架之间切来切去。

2、核心能力

数据增强是 Kornia 最成熟的一块。它提供了 AugmentationSequential、PatchSequential、VideoSequential 三种管道，分别处理图像、图像块和视频序列的增强。策略上支持 AutoAugment、RandAugment、TrivialAugment 等自动化方案，也能自由组合随机仿射、色彩抖动、MixUp、CutMix、Mosaic 等单步操作。训练分类或检测模型时，这一套比手写 transform 管线紧凑得多。

AI 模型集成是个亮点。Kornia 直接内置了一批预训练模型：LoFTR 和 LightGlue 做特征匹配，DISK 和 DeDoDe 做特征描述，YuNet 做人脸检测，SAM 做分割，MobileViT 和 VisionTransformer 做分类。装一个 kornia 就全有了，不用为每个模型额外折腾依赖。

底层算子覆盖了色彩空间转换、高斯/中值/双边滤波、Sobel/Canny 边缘检测、仿射/单应/透视变换、直方图均衡、CLAHE、伽马校正等，总共超过 500 个操作。几何视觉方面还有相机模型、极线几何、单应估计、PnP 求解器、3D 变换和点云操作。

3、多框架与半精度

Kornia 的核心绑定是 PyTorch，但通过 ivy 的桥接层，TensorFlow、JAX 和 NumPy 用户也能调用同样的 API，一行 kornia.to_tensorflow() 就能切换后端。

ONNX 方面也有支持，可以用 ONNXSequential 从 HuggingFace 加载 ONNX 格式的算子或模型，串联后导出为单个 ONNX 文件。

半精度支持方面，float16 和 bfloat16 在多数模块上可用。最近的测试数据显示，图像增强、特征检测、几何变换等模块在半精度下的通过率超过 90%。但相机标定模块仍只接受 float32/float64，PnP 求解器对精度要求较高。

4、适合什么人用

• 做计算机视觉研究、需要在训练过程中嵌入可微分图像处理操作的研究者
• 搭建图像/视频数据增强流水线的深度学习工程师
• 需要一站式搞定特征匹配、人脸检测、分割等视觉模型的开发者
• 在多框架环境中工作、希望用统一接口调用视觉算子的团队

视觉模型的开发者

• 在多框架环境中工作、希望用统一接口调用视觉算子的团队