2026 年 10 月 24 日,上海,由 CANN 开源社区主办、AtomGit协办的 CANN 开发者 Meetup PyPTO 算子编程专场圆满收官。本次活动聚焦昇腾原生 PyPTO 算子编程框架,通过 7 场干货技术分享与开发者面对面交流,围绕算子开发新范式、Agent 自动化算子生成、真实业务落地、端侧适配、底层指令集与编译优化展开深入探讨,吸引了众多 AI 大模型、算子开发、模型部署领域开发者参与。

图片

01|精彩议题速览

议题 01|PyPTO 编程范式和框架能力介绍

CyberTree|PyPTO 框架架构师

图片

PyPTO 是昇腾原生的高效算子编程框架,旨在简化复杂融合算子的开发难度,提供 Tensor与 Pro两种编程模式。其中,Tensor 模式以开发效率为核心,开发者可专注于算法逻辑表达,而内存管理、数据切分与同步均由框架自动完成,更适用于训练场景;Pro 模式则充分释放硬件底层能力,面向推理场景,致力于追求高效性能。

框架开发工作流支持人工参与的 Man-In-The-Loop迭代优化方式,并辅以 IDE、精度工具等完整工具链支持,同时支持由 AI 驱动的 Agent-In-The-Loop全自动开发流程,相关代码已全部托管至 AtomGit 社区,便于开发者上手体验。

议题 02|基于 CANNBot 的 PyPTO 算子自动生成及性能优化

诸葛寻优|CANNBot 技术负责人

图片

针对复杂算子开发中存在的语义理解、精度对齐、并行同步、整网适配等痛点,CANNBot PyPTO Agent 构建了标准化自动化开发链路:需求理解→环境准备→编码测试→性能调优。每个阶段都设置校验机制,最终输出算子源码、测试用例与性能报告。分享也介绍了面向昇腾 PyPTO 的确定性控制自动化深度调优方案-PANKO,由 LLM 负责优化改写,控制规则负责决策,结合 tile 配置的重调优,并以实测结果作为取舍依据,在已优化的算子上,可以继续提升约 20% 或者更高。实验室内部测试显示,PyPTO Agent 可一次完成当前业界的高频算子生成,算子生成耗时 0.5~4.5 小时。

议题 03|PyPTO 实践:基于 Tensor 模式的 Ling-3.0-flash KDA 算子开发

木凡|算子优化技术专家

图片

KDA 是 Ling-3.0-flash 模型中的核心线性注意力算子,用于长文本模型,与 MLA 混合组网,实现显存与推理吞吐优化,但 KDA 算子计算链路长、矩阵求逆无原生 API、块间串行依赖复杂,开发难度较高。分享展示了 PyPTO Tensor 模式 + CANNBot Agent 的完整工程实践:通过模块拆分与渐进式开发降低一次性编码风险;由框架自动管理数据依赖与同步;再结合循环展开、子图合并、数据搬运优化等手段,解决流水阻塞、调度开销大、算力不均等问题。项目最终在一周内完成算子生成、精度验证、性能调优与整网部署。

议题 04|PyPTO 实践:基于 Pro 模式的 FlexAttention 算子开发

高斯拉|高性能算子架构专家

图片

FlexAttention 支持因果前缀与区间双向可见的混合掩码 Attention,无需下发完整 Mask 矩阵,通过边界参数即可生成掩码。PyPTO Pro 模式将 Tiling 切分、Buffer 分配等性能关键环节开放给开发者,同时将流水编排、核间同步、Buffer 轮转等复杂逻辑交由框架自动处理。分享将 FlexAttention 拆分为 QK、P、PV、GU 四个核心计算阶段,结合 TileGroup 缓冲复用、DualModeSplitM 算力拆分、VF 寄存器级掩码计算等方法进行优化。现场结果显示,在 Ascend950 硬件长序列场景下,算子达到较高硬件利用率与 Vector Bound 性能,验证了 PyPTO Pro 模式在推理高性能算子开发中的能力。

议题 05|PyPTO 端侧能力介绍及实践

嘤鸣|端侧 PyPTO 交付负责人

图片

PyPTO 实现了昇腾与麒麟端云统一的编程接口与工具链,目前已支持 Kirin90、Kirin9030、Kirin9050 等终端芯片,其中 Tensor 模式能力已完整可用。端侧算子通过离线编译入图方式接入鸿蒙 CANN Kit 业务链路。在业务实践中,团队针对 Slice、PadV2、Tile 等访存受限小算子进行融合优化,减少重复数据搬运与算子调用开销。实测显示,部分算子性能提升显著,单算子最高可达数倍优化效果,并带来整网性能功耗收益。PyPTO 端侧能力可应用于鸿蒙原生智能、第三方 AI 应用智能化、端云协同算子复用等场景。

议题 06|PTO ISA:面向昇腾的硬件抽象和跨代兼容

乱序摸鱼|指令集架构专家

图片

PTO-ISA 是面向昇腾的虚拟 Tile 指令集,包含标量、向量、Tile 三级指令抽象,目标是屏蔽不同代际 Davinci 硬件差异,实现跨代兼容与性能不降速。分享介绍了 PTO-ISA 的抽象机器模型、内存模型与编译路径,并提出“80% 场景使用 Tile 抽象开发,20% 极致性能场景开放微指令”的分层开发思路。相比传统开发方式,PTO-ISA 在编译效率与自动调优空间上具有明显优势,可向上支撑 PyPTO、TileLang 等上层编程框架。

议题 07|PTO 编译:面向 Tile 抽象的编译优化技术

自得|编译器优化技术专家

图片

PTO 编译器围绕 Tile 抽象构建了完整优化体系,其中核心亮点是 VF 融合:将中间计算结果保留在向量寄存器中,减少 UB 内存读写开销,降低硬件启动次数。

分享详细介绍了编译器如何通过别名分析、指令上提下沉、调度重排、循环融合、Load-Store 消除、代价模型驱动的循环展开等 Pass,自动挖掘融合机会并兼顾正确性与性能。优化效果已在 FA-MHA、MLA、RMSNorm 等多个真实算子中得到验证。

02|开发者面对面互动交流

最后的互动交流环节,嘉宾与现场开发者围绕算子调试、CANNBot Agent 使用、端侧移植、编译调优、性能分析、社区贡献等实际问题展开交流。开发者提出的一线使用反馈,也将成为 PyPTO 后续版本迭代与工具优化的重要参考。

图片图片03

社区资源

本次专场相关开源项目已托管于 AtomGit,开发者可访问以下仓库获取框架、样例、插件与文档:

CANN 开源社区: https://atomgit.com/cann

PyPTO 框架:https://atomgit.com/cann/pypto

样例 & Agent 框架:https://atomgit.com/cann/pypto-gym

PyPTO-VSCode IDE:https://atomgit.com/cann/pypto-vscode

PTO-ISA 指令集:https://atomgit.com/cann/pto-isa

欢迎广大开发者体验试用、提交 Issue、参与社区共建。后续 CANN 开源社区还将持续推出更多技术 Meetup 与干货分享,敬请关注 AtomGit 公众号获取最新动态。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐