做了几年3DGS研究,我把踩过的坑做成了AI Agent技能包
做了几年3DGS研究,我把踩过的坑做成了AI Agent技能包
做三维重建方向的各位应该都感受到了——3DGS这个领域从2023年到现在,arXiv上已经涌了500多篇论文,光看标题都看不过来。我之前每读一篇新论文,都要花半小时以上手动翻方法架构、找代码链接、和已有方法做对比表。自己写CUDA kernel的时候,不知道踩了多少已知bug的坑。后来想明白了:这些重复性的活,完全可以让AI Agent来做。
先说痛点
搞3DGS研究的日常,大概是这几件重复劳动:
- 读论文:每篇30-60分钟手动翻,最后只为了找"这个方法的核心创新是什么"
- 对比方法:想比较两个GS变体的差异,得自己建表,从10多个维度一条条填
- 审代码:CUDA kernel写完一跑,报错到怀疑人生——alpha blending顺序、tile渲染边界、梯度计算,这些坑前人都踩过,但没人帮你汇总
- 设计实验:选数据集、选baseline、设计消融实验……每篇论文都要重来一遍
- 从NeRF迁移:老方法迁移到3DGS,试错成本高,没人告诉你每一步怎么做
这些事情有一个共同点:有明确的范式,但每次都要从零开始。既然AI Agent已经是日常工具了,为什么不让它自带3DGS的领域知识?
所以我做了什么
Awesome Gaussian Skills——一个3DGS领域的AI Agent技能包 + 方法知识库。
GitHub地址:https://github.com/jaccen/Awesome-Gaussian-Skills
在线Demo(不用装任何东西,点开就能搜方法):https://jaccen.github.io/Awesome-Gaussian-Skills/
用一句话总结:复制技能文件到你的AI Agent,它就变成了一个懂268+种3DGS方法的科研助手。
知识库:268+方法,21个类别
先说知识库,这是90%用户会star的原因。
目前收录了268+个3DGS方法,涵盖21个类别:
| 方向 | 包含类别 | 代表方法 |
|---|---|---|
| 核心表示 | 基础、抗锯齿、优化、表面/渲染 | 3DGS, 2DGS, Scaffold-GS, Mip-Splatting, SparseOIT |
| 效率与规模 | 压缩/流式、加速、大规模、前馈 | Compact-3DGS, LightGS, Z-Order GS, BlitzGS |
| 理解与语义 | 语言/语义、生成、自动驾驶 | LangSplat, Feature 3DGS, SCOUP, ConFixGS |
| 动态与空间 | 动态、HDR、SLAM、稀疏视角 | ParticleGS, 3DGS³, 2DGS-SLAM, VidSplat |
| 应用与跨领域 | 人体/编辑/CAD/仿真/具身智能/安全等 | GaussianAvatar, GaussianEditor, GuardMarkGS, RoboSplat |
每个方法都有:arXiv ID、发表venue、核心创新点、代码链接。
知识库每日跟踪arXiv更新,过去30天就新增了21个方法。下面是5月份新增的一些亮点:
- SNS——Skew-Normal非对称基元,连续插值高斯到半高斯
- Z-Order GS——Z序空间连贯排列(CVPR 2026 Oral)
- MGS——Matryoshka连续LoD,单次训练出任意精度
- GuardMarkGS——首个统一水印+编辑阻止框架
- AV1-3DGS——借AV1运动向量,训练提速63%
- Real2Sim——4DGS + 可微MPM,物理感知自动驾驶仿真
不想装任何东西?直接打开在线Demo,搜索、按类别筛选、点击方法卡片看详情:
还有CSV文件可以直接下载做数据分析:3dgs-methods-overview.csv
10个AI Agent技能:让Agent替你干活
知识库是"查资料"用的,技能才是让AI Agent真正干活的关键。目前提供了10个科研级技能:
1. 论文阅读:3dgs-paper-reader
扔一个arXiv ID,几秒出结构化摘要——方法名称、核心创新、架构设计、训练策略、实验结果、局限性。
你: "帮我读一下 2401.01345,总结核心方法和实验结果"
Agent: [提取方法架构、损失函数、训练细节、关键发现]
2. 方法对比:3dgs-method-compare
输入任意两个(或多个)3DGS方法名,自动从10+维度生成对比表——基元表示、不透明度处理、颜色机制、频率建模、几何边界、训练策略等。
你: "对比3DGS和2DGS的渲染公式"
Agent: [输出渲染方程对比、基元维度分析、适用场景差异]
内置268+方法的知识,不需要你自己填表。
3. 代码审查:3dgs-code-reviewer
投稿之前让Agent先过一遍你的CUDA kernel,检测62+种已知bug模式——alpha混合顺序、tile渲染边界、CUDA显存合并、梯度计算等等。
你: "审查我的3DGS CUDA渲染kernel,看看有没有性能问题"
Agent: [检查compositing顺序、内存访问模式、梯度正确性...]
4. 实验设计:3dgs-experiment-planner
告诉Agent你的方法方向,它帮你推荐数据集、基线方法、消融矩阵、评估指标组合,而且是针对目标会议(CVPR/SIGGRAPH/TVCG等)定制的。
你: "我要写一篇关于高频边界建模的3DGS论文,帮我设计实验"
Agent: [推荐Mip-BlenDavid/DTU数据集、3DGS/2DGS/Scaffold-GS基线、
PSNR+SSIM+LPIPS+FID+CHF指标组合、完整消融矩阵]
5. NeRF迁移:nerf-to-3dgs-migrator
从NeRF方法迁移到3DGS,给出每一步的具体指南和代码模板。比如hash encoding怎么转成per-Gaussian属性,deformable field怎么变成位置/旋转偏移。
6. CAD/Mesh桥接:cad-mesh-3dgs
Mesh和3DGS之间的双向转换——SuGaR/2DGS管线提取mesh、TSDF+Marching Cubes参数、CAD逆向工程、几何质量评估。还支持STEP格式CAD模型转3DGS。
7. 论文写作:cg-paper-writing
针对CVPR/ICCV/ECCV/SIGGRAPH/TVCG的论文写作助手。内置领域术语库、会议写作规范、数学符号约定,还会做去AI痕迹处理。
8. 研究可视化:3dgs-visualizer
一键生成出版级图表——雷达图(7维方法对比)、分组柱状图(PSNR/SSIM/LPIPS)、质量-速度散点图、指标热力图、方法演进时间线。静态输出PDF/PNG,交互式输出HTML。
9. 工程化部署:3dgs-engineering-guide
从论文到产品落地——10大行业赛道分析(自动驾驶、数字孪生、文博、电商、AR/VR等),工具选型决策树,跨平台部署指南(CUDA/Vulkan/WebGPU/移动端)。
10. 专利与软著:patent-software-ip
从项目代码/设计文档直接生成专利申请文件(权利要求书+说明书+摘要)或软著登记材料(说明书+源代码文档),支持查新检索和脱敏处理。
怎么用?3条命令
每个技能就是一个SKILL.md文件,复制到AI Agent的技能目录就行,零依赖零配置:
git clone https://github.com/jaccen/Awesome-Gaussian-Skills.git
cp -r Awesome-Gaussian-Skills/skills/* ~/.openclaw/skills/
openclaw restart # 然后就可以对话了
支持的平台:
- OpenClaw(ClawHub生态)——复制到
~/.openclaw/skills/ - Claude Code——复制到
.claude/目录 - Cursor——复制到
.cursor/rules/ - Windsurf及其他AI Agent框架
也可以只装你需要的技能:
cp skills/3dgs-paper-reader/SKILL.md .claude/
cp skills/3dgs-code-reviewer/SKILL.md .claude/
或者一键安装:
curl -sSL https://raw.githubusercontent.com/jaccen/Awesome-Gaussian-Skills/main/scripts/setup.sh | bash
可视化效果预览
3dgs-visualizer技能生成的图表样例:
雷达图——3DGS vs 2DGS vs Mip-Splatting vs Scaffold-GS 七维对比:
指标热力图——多方法、多指标归一化对比:
交互式版本支持悬停查看详情,适合论文投稿和汇报演示。
一点设计思路
做这个项目的时候有几点考虑:
- 知识库比技能重要——大部分人需要的只是一个好搜的方法库,技能是进阶用法
- 零摩擦安装——不想让任何人因为"装不上"而放弃,所以用纯Markdown,复制即用
- 每日更新而非手动维护——知识库通过每日arXiv跟踪自动更新,不用靠人力一条条追
- Apache-2.0许可证——含明确专利授权条款,企业用户可以放心用,Fork/发布/销售都行
写在最后
如果你在做3DGS相关的研究,这个项目至少能帮你:
- 不用再手动翻30分钟论文找核心创新点
- 不用再对着20个方法自己拼对比表
- 不用再踩那些前人踩过的CUDA kernel坑
- 不用再纠结"该选什么baseline和消融实验"
项目地址:https://github.com/jaccen/Awesome-Gaussian-Skills
在线Demo(点开就能用):https://jaccen.github.io/Awesome-Gaussian-Skills/
觉得有用的话,给个star,这是对开源项目最直接的支持。
标签:3DGS | 三维重建 | AI Agent | Gaussian Splatting | 计算机图形学 | 开源工具
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)