K8s是非常成熟、生态也非常丰富的基础设施，可以搭建好用的训练和推理集群，但在AI应用场景中需要进一步优化，可在K8s基础上，构建对AI训练或者推理更友好生态。一些开源项目为AI推理提供用户友好的抽象（如Pod、Deployment、root角色），并实现缓存感知与负载均衡调度。

—— 杨珂 趋境科技技术专家/Mooncake核心开发者

百分之百的同学每天都在重度的在使用AI，很多本科生也会参与K8s等基础设施学习和探索中。但学校存在资源不足（缺卡），学生理解K8s如何搭建AI技术架构有gap。

—— 沃天宇 openeFuyao社区技术委员会委员/北京航空航天大学软件学院教授

一种就是K8s逐渐去改进、逐渐去优化；另外一种就是bottom-up再出来一个新东西——现在革命者已经在那里了，e2b就是革命者，e2b没有用任何K8s的技术。

K8s的核心就两点：抽象和声明式架构一定要在沙箱的新型负载来了之后，快速前进，否则有可能会被后来居上。

—— 嘉宾 朱浩鹏 社区顾问/华为Fellow

在AI时代，K8s对硬件的抽象仍然具有很强的延伸性和弹性，但在调度和敏捷性方面需要适当地“退化”。

一种选择是：让K8s回归底层资源池的基础，在其之上，构建一层更加亲和AI工作负载的敏捷管理层，专门负责Quota控制、沙箱隔离保障以及精细化资源配给。这种分层架构更贴合AI场景的实际需求。

—— 胡昊 openFuyao技术委员会主席

K8s 的上层API和抽象在AI Native时代仍然是有必要的，核心抽象并没有问题，只是需要在调度侧加入AI Native的方式。首先要对 workload（负载）进行重新定义——因为AI Native的workload与之前K8s定义的微服务workload已经不同。完成重新定义之后，再去审视需要革新或优化的方面，例如调度、以及网络相关负载的优化。

—— 雷超 vllm-ascend社区Maintainer