8 月 15 日,南京新街口。CANN 开发者 Meetup 轻量开发专场如约而至,来自全国各地的开发者齐聚现场,围绕昇腾 NPU 大模型迁移部署、算子开发、底层编程、推理性能调优等硬核议题,与 CANN 开源社区的核心 Maintainer、Committer 们展开了一场面对面的深度技术交流。

图片

本次活动由 CANN 开源社区联合 AtomGit开放原子紫金专区江苏昇腾生态创新中心 共同发起,8 位嘉宾、4 大技术方向,从智能开发工具链到全新编程范式,全程干货密集。让我们一起回顾这场「轻量开发」专场的高光时刻。

CANNBot:把「硬骨头」交给 AI 开发智能体

CANNBot 昇腾 AI 开发智能体,从「写代码」到「描述意图」

图片

王星(ops-nn Committer)分享了《CANNBot 昇腾 AI 开发智能体概述》。CANNBot 是面向昇腾 CANN 开源社区构建的统一智能体平台,覆盖模型、算子、通信、图、编程语言、运行时六大核心研发领域,提供代码生成、自主排障、闭环修复、端到端调优等能力。他重点介绍了 Harness、Skill、Bench 三大体系:Harness 负责协调不同 Agent 的调度与协同工作,Skill 统一管理算子开发各环节的能力、构建算子领域的「元素周期表」,Bench 则打造覆盖编译、精度、性能三大维度的标准化评测体系,当前已沉淀约 50 多个核心算子、1000 多个用例,支持上库任务触发与实时排行榜,帮助开发者直观评估不同 Skill 与基模的运行效果。

CANNBot 算子智能生成,一句话驱动算子开发

图片

张子杰(cann-samples Committer) 分享了 CANNBot 算子智能生成的实践,基于 ops-direct-invoke-flash 工作流轻量完成算子开发。面对 DeepSeek、Kimi、千问、GLM 等开源模型频繁发布,融合算子与量化精度适配需求几乎呈指数级增长,而人工开发一个高性能融合算子往往需要 2~3 周。CANNBot 将算子生成拆解为 8 个阶段、4 大环节:环境探测与编译骨架初始化、规格设计与实现设计、测试用例先行与 Kernel 实现、复核重编译与文档归档。现场他以 swiglu 算子为例演示了完整流程,Agent自动完成了规格设计、实现设计、白盒测试用例编写与算子Kernel 实现,一次编译通过且精度正确。

他还强调了 Human-in-the-Loop 机制:人工确认测试报告高危操作人工审批、长程任务人工纠偏。

CANNBot 模型智能迁移部署,端到端提速 5.89 倍

图片

陈宇(CANNBot 技术专家) 带来了 CANNBot 模型智能迁移部署的实践分享。核心思路是不让一个 Agent 从头到尾自由发挥,而是把 NPU 推理部署优化拆分为多个明确步骤,基础优化工作流由 model-infer-optimize 主流程统一编排,再叠加进阶工作流释放更极致的性能。他分享了多组实测收益:LongCat-Flash-Lite 的 Decode 吞吐提升 14.4 倍,Qwen3-0.6B 提升 8.9 倍;Hy3 通过并行切分、KVCache+FA 改造、融合算子与图模式适配的基础优化逐阶段叠加,最终实现相对基线 5.89 倍的 Decode 吞吐提升。在效率方面,单卡简单模型约 2-3 小时、多卡复杂模型约 6-8 小时即可完成优化适配。演示环节他展示了整个部署优化过程,包括每阶段 Agent 工作流程,以及分析者、实施者、验证者三角色协作机制。

CANNBot 智能代码审查,让 AI 为 200+ 编码规范把关

图片

谯竣仁(CANNBot 技术专家) 分享了 CANNBot 智能代码审查。针对 vibe coding 时代 AI 生成代码海量增长、人工逐行审查耗时的困境,CANNBot 将 200+ 编码规范条例转化为可执行、可追溯的自动化检视流程,覆盖文件检视、PR 增量检视、快速解释、设计一致性检查四类场景——其中近 1/3 的问题单来自文档与代码不对齐。他重点介绍了置信度机制与规则自发现机制:AI 通过证据链打分分级,避免「触发关键词就报问题」的误报;检视条款与流程解耦,按需渐进读取,节省上下文。现场演示中,Agent 对 Transformer 仓一个 PR 完成前置预研后并行派发多个检视组,输出包含问题位置、证据链、打分及合入建议的完整检视报告。

CANNBot-Insight,让 Agent 长链路工作流透明可审计

图片

管兴华(CANNBot 技术专家) 带来了 CANNBot-Insight 可观测评测工具的分享。这款专为 Code Agent 与大模型交互链路打造的可视化观测、诊断与评测工具,通过 Overview、Turn、Trace、Context、Audit、Perf、Skill、File 八大面板,将模型的思考过程、工具调用参数、subagent 调用、上下文增长等内部信息透明可视化,让智能体生产过程不再是「黑盒」。他分享了一个现场案例:算子生成过程中未生成设计文档,初看像模型幻觉,Trace 面板最终定位到真实原因是多个任务同时写同一目录导致的文件权限冲突。项目已随 CANNBot Skills 仓开源,一条命令即可启动。

全新编程范式与推理加速:从 Ascend C 到 KV Pool

Ascend C 全新编程体验,C API 与 Tensor API 双管齐下

图片

活动下半场,Ascend C Maintainer 黄金华带来主题分享 《Ascend C:基于 C API 和 Tensor API 的全新编程体验》 ,深度拆解 Ascend C 双层 API 的设计理念与工程落地成果。其中,C API 遵循 C 语言标准做最小化扩展,采用指针编程模式,为开发者提供底层全链路控制能力与硬件级极致性能。构建于 C API 之上的 Tensor API,引入布局代数体系,将 Tensor 与 Layout 升级为编程一等公民;同时打造 Arch、Atom、Algorithm 三层解耦的 API 架构,兼具零成本编译期抽象、关注点分层分离、乐高式模块化组合、原生跨架构可移植性四大核心特性。他以适配 Ascend 950 的 Matmul 商用通用模板为例,展示了 Ascend C 的实际落地成效:相比传统实现,算子代码量精简约 50%,同时性能实现约 3% 的正向提升,真正达成开发效率与运行性能的双向优化。分享最后他透露,基于寄存器的新一代编程范式已在研发推进中,预计将于 8 月底正式向社区发布,为昇腾算子开发带来更高效的编程体验。

PyPTO 算子编程,基于 Tensor/Tile 的新范式

图片

高翔(PyPTO Committer) 基于 Tensor/Tile 的算子编程体验向大家介绍了 PyPTO。 PyPTO 是面向昇腾的原生 Python 编程框架,PyPTO-Tensor 模式与写 PyTorch 的体验一致,PyTorch 脚本可无缝迁移,算子开发周期从 3~4 周缩短到 1 周;PyPTO-Tile(Pro)模式则对标 CuTeDSL,把 Tiling 切分交给开发者,框架收纳指令映射、核间同步、流水编排等套路化内容,面向 KDA、DeepSeek 等复杂融合算子场景。现场他演示了框架如何通过 stage 标记自动构建依赖 DAG、把用户写的串行代码编排为 Cube 与 Vector 并行执行,以及基于 950 芯片 MutexID 机制自动完成 buffer 轮询与同步插入。PyPTO 代码已发布在 pypilot 仓,有 950 机器的开发者可直接体验。

Mooncake x HIXL,KV Pool 池化技术分享

图片

游宵(Mooncake & HIXL Committer) 带来了 Mooncake x HIXL:KV Pool 池化技术分享。他从大模型推理的 Prefill/Decode 两阶段切入,指出 KV 跨请求复用可大幅降低 TTFT,而长上下文下 KV Cache 占用惊人——Llama 3 70B 在 128K 上下文下需要约 40 GB,1000 个用户请求即达 40 TB,必须依赖跨机多级缓存。他介绍了 Mooncake Store 的 L0/L1/L2 多级 KV Pool 架构与统一 Transfer Engine,并重点讲解 HIXL 单边通信库:整个通信生命周期仅需 7 个极简接口,支持 RoCE 与超节点内的 Fabric Mem 两种主流传输方式,超过 64 KB 数据时 Fabric Mem 带宽远超 RoCE。线上实测显示,DSV4 Flash 模型在 2000 条测试数据、平均 300K 上下文、命中率 85% 的场景下,开启 KV Pool 后平均 TTFT 由 22,000 ms 降至 9,600 ms,降幅达 57.7%,而 agent 场景内部命中率可达 92%~95%。

开发者面对面:答疑互动,深度交流

图片

所有技术主题分享结束后,现场进入开发者面对面互动交流环节。除此之外,活动全天 8 场分享都设置了现场提问时间,开发者们踊跃举手,与嘉宾围绕算子开发、模型迁移、代码审查、推理加速等话题展开深入讨论:

图片

下一站,再见

本次 CANN 开发者 Meetup 南京站圆满收官。感谢 8 位嘉宾的倾囊分享,也感谢每一位到场开发者。CANN 开发者 Meetup 还将走进更多城市,敬请持续关注 AtomGit,获取最新活动信息与开源动态。下一站,我们继续。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐