GPyTorch：基于 PyTorch 的高斯过程库

GPyTorch 是一个基于 PyTorch 实现的高斯过程库，目前收获了 3,883 个 Star。它由康奈尔大学、宾夕法尼亚大学等机构的研究人员维护，主打可扩展、模块化的 GP 模型构建。

核心思路：用线性代数替代传统分解

与传统高斯过程实现不同，GPyTorch 在底层推理时大量采用数值线性代数技术。预条件共轭梯度替换了常规的 Cholesky 分解，这让 GPU 利用率明显提高。实现一个可扩展的 GP 方法，只需通过 LinearOperator 接口提供核矩阵的矩阵向量乘法例程，或组合已有的 LinearOperator。

这种设计带来两个直接好处。一是开发新算法的工作量大幅降低，写一个新方法不再需要从头处理完整的矩阵分解流程。二是 GPU 加速效果比基于 Cholesky 的方案更优，矩阵向量乘法在 GPU 上的并行度天然更高。对于需要处理大规模数据集的场景，这个差异会很明显。

内置的前沿算法

库中集成了多项算法实现。SKI/KISS-GP 用于结构化核插值，可以在一维到高维输入上实现近似推断。stochastic Lanczos expansions 处理大规模矩阵的 log 行列式计算。LOVE 加速预测阶段的协方差计算。SKIP 实现多尺度核近似。此外还有随机变分推断的深度核学习实现。这些算法覆盖从数据建模到推断加速的多个环节，不需要自己从头写代码。

与深度学习生态的衔接

GPyTorch 直接构建在 PyTorch 之上，这意味着已有的神经网络模块可以无缝嵌入到 GP 模型中。做深度核学习时，特征提取网络可以用任意 PyTorch 模型，不需要在两个框架之间来回切换。梯度计算、自动微分、GPU 调度都沿用 PyTorch 的机制，学习成本几乎为零。对于已经熟悉 PyTorch 的开发者来说，上手很快。

安装与使用

门槛不高。Python 3.10 以上、PyTorch 2.0 以上即可。通过 pip 或 conda 都能安装：

pip install gpytorch
conda install gpytorch -c gpytorch

文档和示例比较完整，涵盖从基础回归模型到复杂组合核的多种用例。也提供了与 BoTorch 等贝叶斯优化库的集成示例。

适用场景

如果你正在做以下类型的工作，GPyTorch 是个值得考虑的选择：

在大规模数据集上跑高斯过程回归或分类，需要 GPU 加速；想把神经网络和概率模型结合，做深度核学习或变分推断；需要快速实验新的 GP 变体，验证想法后再决定是否手写高效实现。

学术研究和工业落地都有应用案例。项目论文发表在 NeurIPS 2018，引用量持续增长。在贝叶斯优化、科学计算、时序预测等领域都有人使用。

项目背景

背后的团队横跨多所高校和一个工业实验室。主要维护者包括 Jake Gardner（宾夕法尼亚大学）、Geoff Pleiss（哥伦比亚大学）、Kilian Weinberger（康奈尔大学）、Andrew Wilson（纽约大学）和 Max Balandat（Meta）。盖茨基金会、国家科学基金会等机构提供了资金支持。

MIT 协议开源，可以商用，也可以修改后二次分发。如果高斯过程是你工作流中的常客，GPyTorch 值得放进工具箱。

用，也可以修改后二次分发。如果高斯过程是你工作流中的常客，GPyTorch 值得放进工具箱。