---

• 适用于ONNX Runtime的高通插件执行提供器（EP）可以确保开发者更加轻松地对各种AI工作负载进行更新，并在各种高通平台上实现更加高效地部署。
• 这种方式可以提高各种应用的稳定性，同时为在各种计算、物联网和Android平台上使用ONNX Runtime的开发者简化开发工作流程。
• 高通技术公司是首家发布公开可用ONNX Runtime插件执行提供器的芯片厂商，也是唯一一家实现执行提供器代码开源的芯片厂商，从而在整体上推动了ONNX生态系统的发展。

高通技术公司很荣幸推出首个适用于ONNX Runtime、并由高通AI软件栈驱动的公开可用插件执行提供器（EP）。本次发布对于ONNX Runtime生态系统、以及在Android、Windows、Linux等操作系统上开发AI应用程序的开发者而言都是一个关键里程碑。

借助适用于ONNX Runtime（ORT）的高通插件执行提供器，开发者可以更加轻松的进行AI工作负载更新，并在各种高通平台上（包括手机、个人电脑、物联网和机器人等场景）更高效地部署AI工作负载，并从中受益。

挑战：异构环境下执行提供器的规模化扩展

首先，让我们来定义什么是执行提供器。执行提供器属于插件，它允许ONNX Runtime将特定模型节点或子图的执行任务委派给各种专用计算单元（例如：CPU、GPU和NPU），从而实现硬件加速。

通过执行提供器的抽象化，可以实现ONNX Runtime的硬件无关性：您只需要编写一次推理调用，执行提供器就会处理底层调度，将任务分配给适当的硬件IP，同时无需与硬件厂商的原生工具链进行交互。

ONNX Runtime本身具备通用推理引擎；但是，作为一种插件，执行提供器可以决定每个模型算子/子图运行的位置与方式 – 具体在CPU、GPU还是NPU上运行。

从历史上看，ONNX Runtime的所有执行提供器均作为ONNX Runtime核心仓库的组成部分进行开发和分配。这种模式虽然能够保证紧密集成，但也带来了诸多挑战，例如：

• 执行提供器与ONNX Runtime发布周期之间的深度绑定，导致开发者实施系统优化时出现延迟。
• 上游依赖项的约束导致创新速度减缓，最终造成应用程序稳定性降低性能不达标。

随着硬件生态系统的不断扩展，将NPU、GPU、定制ASIC、以及特定领域加速器等各类处理器纳入其中，这种深度绑定模式已经无法支撑规模化扩展，因此亟需一套更加灵活的解决方案。

解决方案：面向硬件厂商的插件执行提供器

插件执行提供器引入了一种全新架构，可以将执行提供器的开发与ONNX Runtime的核心分离。

插件执行提供器是作为实现稳定执行提供器接口的动态加载共享程序库交付，而不需要将其直接编译到ONNX Runtime中。适用于ONNX的高通插件执行提供器带来了以下优势：

真正的模块化：

可以对插件执行提供器独立进行开发、版本更新和发布，同时ONNX Runtime仍然作为一个稳定的平台。这意味着不需要改动ONNX Runtime核心，仅更新高通插件执行提供器就能获得新的软件功能和优化。

更快的创新速度：每月更新后，开发者可即时获取

我们的性能优化、漏洞修复和扩展算子覆盖范围，无需等待ONNX Runtime按季度发布的新版本。

通过将ONNX Runtime与特定硬件组件清晰分离，插件执行提供器实现了独立发布周期、稳定接口，并且更加快速地采用各种新硬件和SDK功能。

推出适用于ONNX的高通执行提供器：首个公开可用的插件执行提供器

高通技术公司是首家公开发布适用于ONNX Runtime插件执行提供器的的芯片厂商，本次发布不仅对以各种高通平台为目标的开发者意义重大，也为更加广泛的ONNX Runtime生态系统带来了积极影响。

为什么这种执行提供器非常重要？

• 高通技术公司证明了插件执行提供器模式可以在实际部署中正常发挥作用。
• 我们在手机、个人电脑和边缘设备上均实现了生产部署级性能表现。
• 该执行提供器验证了应用二进制接口（ABI）与应用编程接口（API）对于外部执行提供器的长期稳定性

利用高通插件执行提供器，可确保各种ONNX模型均可在高通AI平台上高效运行，同时与ONNX Runtime核心代码保持完全分离。

在此处体验适用于ONNX Runtime的高通插件执行提供器

 

ONNX开发者可以获得的优势

对于使用ONNX Runtime开发AI赋能应用程序的开发者而言，高通插件执行提供器大幅简化了开发、部署和长期维护的程序。

核心优势：

• 无需重新编译：

在更新或替换高通插件执行提供器时，不需要重新构建ONNX Runtime或您的应用程序二进制文件。

• 独立发布周期

可以更快采用高通技术公司提供的性能提升、漏洞修复和算子支持更新，同时无需等待ONNX Runtime的发布。

• 面向未来的架构：

稳定的插件接口降低了升级ONNX Runtime版本或适配全新高通平台的阻力。开发者无需等待ONNX Runtime的发布，在我们发布新硬件后就能立刻开始构建工作。

利用这种模式，开发者可以减少用于基础设施管理方面的时间，并将更多时间投入到打造差异化AI体验中。

对于最终用户而言，每当与某一AI应用程序进行交互时，这种模式都可以带来真正的优势，例如：最佳的性能、改进的延迟性、更高的响应速度以及更好的能效，在移动端和边缘设备上的提升尤为明显。

使插件执行提供器成为可能的基础设施变更

为支持插件执行提供器，ONNX Runtime推出了针对外部执行提供器程序库的全新基础设施，其中包括：

• 基于C语言、稳定可用的长期执行提供器接口。
• 执行提供器共享程序库的动态发现与加载。
• 运行时显式提供器注册机制。
• ONNX Runtime与插件执行提供器之间清晰的版本协议。

通过这些变更，可以确保：

• 实现ONNX Runtime升级，从而不会导致现有插件执行提供器失效。
• 插件执行提供器能够独立进行迭代演进。
• 双方均能进行创新工作，无需承担集成开销

正如前文所说，对于开发者而言，这种模式减少了不可控问题，带来了更简洁流畅的集成体验。
此处可以获得更多详细信息
 

携手推动ONNX生态系统发展

作为首家公开发布插件执行提供器的芯片厂商，高通技术公司正助力搭建具有更高模块化、可扩展性、和创新活力的ONNX Runtime生态系统基础，证明可以以更快的速度、更高的灵活性和更低的集成开销实现硬件加速，从而帮助开发者更加轻松地完成开发AI应用程序的工作流程。

本次发布只是一个开始，我们期待未来继续与ONNX Runtime社区及生态系统合作伙伴展开合作。

了解更多内容

• 高通插件执行提供器
• 高通执行提供器基础设施

---

在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品均为高通技术公司和/或其子公司的产品。

关于作者

阿希什·加格，高通技术公司高级产品经理

阅读更多

关于作者

夏洛特·马洛，产品营销经理

阅读更多

关于作者

梅加娜·拉奥，高通技术公司高级产品经理

阅读更多