CANN 开发者 Meetup PyPTO 算子编程专场落幕,解锁大模型复杂算子开发全新范式
2026 年 10 月 24 日,上海,由 CANN 开源社区主办、AtomGit协办的 CANN 开发者 Meetup PyPTO 算子编程专场圆满收官。本次活动聚焦昇腾原生 PyPTO 算子编程框架,通过 7 场干货技术分享与开发者面对面交流,围绕算子开发新范式、Agent 自动化算子生成、真实业务落地、端侧适配、底层指令集与编译优化展开深入探讨,吸引了众多 AI 大模型、算子开发、模型部署领域开发者参与。

01|精彩议题速览
议题 01|PyPTO 编程范式和框架能力介绍
CyberTree|PyPTO 框架架构师

PyPTO 是昇腾原生的高效算子编程框架,旨在简化复杂融合算子的开发难度,提供 Tensor与 Pro两种编程模式。其中,Tensor 模式以开发效率为核心,开发者可专注于算法逻辑表达,而内存管理、数据切分与同步均由框架自动完成,更适用于训练场景;Pro 模式则充分释放硬件底层能力,面向推理场景,致力于追求高效性能。
框架开发工作流支持人工参与的 Man-In-The-Loop迭代优化方式,并辅以 IDE、精度工具等完整工具链支持,同时支持由 AI 驱动的 Agent-In-The-Loop全自动开发流程,相关代码已全部托管至 AtomGit 社区,便于开发者上手体验。
议题 02|基于 CANNBot 的 PyPTO 算子自动生成及性能优化
诸葛寻优|CANNBot 技术负责人

针对复杂算子开发中存在的语义理解、精度对齐、并行同步、整网适配等痛点,CANNBot PyPTO Agent 构建了标准化自动化开发链路:需求理解→环境准备→编码测试→性能调优。每个阶段都设置校验机制,最终输出算子源码、测试用例与性能报告。分享也介绍了面向昇腾 PyPTO 的确定性控制自动化深度调优方案-PANKO,由 LLM 负责优化改写,控制规则负责决策,结合 tile 配置的重调优,并以实测结果作为取舍依据,在已优化的算子上,可以继续提升约 20% 或者更高。实验室内部测试显示,PyPTO Agent 可一次完成当前业界的高频算子生成,算子生成耗时 0.5~4.5 小时。
议题 03|PyPTO 实践:基于 Tensor 模式的 Ling-3.0-flash KDA 算子开发
木凡|算子优化技术专家

KDA 是 Ling-3.0-flash 模型中的核心线性注意力算子,用于长文本模型,与 MLA 混合组网,实现显存与推理吞吐优化,但 KDA 算子计算链路长、矩阵求逆无原生 API、块间串行依赖复杂,开发难度较高。分享展示了 PyPTO Tensor 模式 + CANNBot Agent 的完整工程实践:通过模块拆分与渐进式开发降低一次性编码风险;由框架自动管理数据依赖与同步;再结合循环展开、子图合并、数据搬运优化等手段,解决流水阻塞、调度开销大、算力不均等问题。项目最终在一周内完成算子生成、精度验证、性能调优与整网部署。
议题 04|PyPTO 实践:基于 Pro 模式的 FlexAttention 算子开发
高斯拉|高性能算子架构专家

FlexAttention 支持因果前缀与区间双向可见的混合掩码 Attention,无需下发完整 Mask 矩阵,通过边界参数即可生成掩码。PyPTO Pro 模式将 Tiling 切分、Buffer 分配等性能关键环节开放给开发者,同时将流水编排、核间同步、Buffer 轮转等复杂逻辑交由框架自动处理。分享将 FlexAttention 拆分为 QK、P、PV、GU 四个核心计算阶段,结合 TileGroup 缓冲复用、DualModeSplitM 算力拆分、VF 寄存器级掩码计算等方法进行优化。现场结果显示,在 Ascend950 硬件长序列场景下,算子达到较高硬件利用率与 Vector Bound 性能,验证了 PyPTO Pro 模式在推理高性能算子开发中的能力。
议题 05|PyPTO 端侧能力介绍及实践
嘤鸣|端侧 PyPTO 交付负责人

PyPTO 实现了昇腾与麒麟端云统一的编程接口与工具链,目前已支持 Kirin90、Kirin9030、Kirin9050 等终端芯片,其中 Tensor 模式能力已完整可用。端侧算子通过离线编译入图方式接入鸿蒙 CANN Kit 业务链路。在业务实践中,团队针对 Slice、PadV2、Tile 等访存受限小算子进行融合优化,减少重复数据搬运与算子调用开销。实测显示,部分算子性能提升显著,单算子最高可达数倍优化效果,并带来整网性能功耗收益。PyPTO 端侧能力可应用于鸿蒙原生智能、第三方 AI 应用智能化、端云协同算子复用等场景。
议题 06|PTO ISA:面向昇腾的硬件抽象和跨代兼容
乱序摸鱼|指令集架构专家

PTO-ISA 是面向昇腾的虚拟 Tile 指令集,包含标量、向量、Tile 三级指令抽象,目标是屏蔽不同代际 Davinci 硬件差异,实现跨代兼容与性能不降速。分享介绍了 PTO-ISA 的抽象机器模型、内存模型与编译路径,并提出“80% 场景使用 Tile 抽象开发,20% 极致性能场景开放微指令”的分层开发思路。相比传统开发方式,PTO-ISA 在编译效率与自动调优空间上具有明显优势,可向上支撑 PyPTO、TileLang 等上层编程框架。
议题 07|PTO 编译:面向 Tile 抽象的编译优化技术
自得|编译器优化技术专家

PTO 编译器围绕 Tile 抽象构建了完整优化体系,其中核心亮点是 VF 融合:将中间计算结果保留在向量寄存器中,减少 UB 内存读写开销,降低硬件启动次数。
分享详细介绍了编译器如何通过别名分析、指令上提下沉、调度重排、循环融合、Load-Store 消除、代价模型驱动的循环展开等 Pass,自动挖掘融合机会并兼顾正确性与性能。优化效果已在 FA-MHA、MLA、RMSNorm 等多个真实算子中得到验证。
02|开发者面对面互动交流
最后的互动交流环节,嘉宾与现场开发者围绕算子调试、CANNBot Agent 使用、端侧移植、编译调优、性能分析、社区贡献等实际问题展开交流。开发者提出的一线使用反馈,也将成为 PyPTO 后续版本迭代与工具优化的重要参考。

03
社区资源
本次专场相关开源项目已托管于 AtomGit,开发者可访问以下仓库获取框架、样例、插件与文档:
CANN 开源社区: https://atomgit.com/cann
PyPTO 框架:https://atomgit.com/cann/pypto
样例 & Agent 框架:https://atomgit.com/cann/pypto-gym
PyPTO-VSCode IDE:https://atomgit.com/cann/pypto-vscode
PTO-ISA 指令集:https://atomgit.com/cann/pto-isa
欢迎广大开发者体验试用、提交 Issue、参与社区共建。后续 CANN 开源社区还将持续推出更多技术 Meetup 与干货分享,敬请关注 AtomGit 公众号获取最新动态。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐




所有评论(0)