AI兴起,都在养龙虾,传统底层技术还值得研究吗
引言:技术狂欢下的冷思考
2023年,ChatGPT横空出世;2024年,多模态AI成为标配;2025年,AI Agent开始重构应用形态。站在2026年的今天,技术圈似乎分成两个世界:一边是AI工程师们日复一日地调参、提示词工程、搭建智能体框架,被戏称为"养龙虾";另一边则是坚持在数据库内核、操作系统、网络协议、编译器等底层领域的工程师,默默写着那些用户看不见的代码。
一个尖锐的问题浮出水面:在AI浪潮席卷一切的当下,传统底层技术还值得研究吗?这个问题看似是技术路线的选择,实则关乎技术本质的理解。本文将从技术架构演进、AI与底层的耦合关系、技术决策边界三个维度,深度剖析这个命题。
一、技术架构的层级与不可替代性
要回答这个问题,首先要理解现代技术系统的分层结构。无论是云计算、大数据,还是今天的AI,本质上都建立在分层架构之上。每一层都有其不可替代的价值。
1.1 硬件与操作系统的基石作用
AI系统的运行离不开强大的计算基础设施。当我们惊叹于大模型的推理能力时,背后是GPU/NPU的硬件性能支撑。而硬件的高效利用,需要操作系统层面的精心调度——任务调度、内存管理、IO优化,这些都是传统底层技术的核心。
以内存管理为例,大模型训练需要TB级别的显存,如何高效分配、回收、避免碎片化,直接决定了训练效率。这些优化不是通过提示词能解决的,而是需要深入理解操作系统内存管理机制,甚至修改内核代码才能实现。
1.2 网络与分布式系统的隐形支撑
现代AI系统本质上是大规模分布式系统。数据在集群中传输、模型在多节点间协同训练、推理服务进行负载均衡——这些都依赖于网络协议和分布式系统理论。
当工程师设计一个支持千级并发的大模型推理服务时,需要考虑:如何设计高可用架构?如何处理网络分区?如何实现数据一致性?这些问题的答案,都藏在CAP定理、Paxos/Raft协议、负载均衡算法等传统分布式理论中。
1.3 数据库与存储的持久化能力
AI需要数据,数据需要存储。无论是训练数据的组织、向量数据库的实现,还是模型参数的持久化,都离不开传统的数据库和存储技术。
向量数据库的兴起是一个典型案例。表面上它是AI的配套基础设施,但底层仍然依赖B+树、LSM树等传统索引结构,依赖WAL日志、MVCC等传统事务机制。不掌握这些底层技术,就无法构建真正可用的向量数据库。
二、AI与底层的深度耦合:不是替代,是增强
很多人认为AI会替代底层技术,但现实是:AI正在与底层技术深度融合,产生新的技术形态。底层技术不仅没有被淘汰,反而在AI时代焕发了新的生命力。
2.1 AI驱动的性能优化
AI正在改变传统性能优化的方式。数据库查询优化器使用机器学习预测最优执行计划;操作系统使用强化学习进行任务调度;编译器使用神经网络进行代码优化。
但这些优化不是魔法——它们需要工程师将底层系统的性能指标、瓶颈特征、优化空间编码成AI可理解的特征。这意味着,要构建AI驱动的优化系统,首先要精通底层技术本身。
2.2 AI Native的底层架构
AI正在催生全新的底层架构。以GPU数据库为例,它重新设计了查询执行引擎,针对GPU的并行计算特性进行优化;以存算一体为例,它改变了传统的冯·诺依曼架构,将计算与存储融合。
这些创新不是凭空而来的,它们建立在对传统数据库理论、硬件体系结构的深刻理解之上。不懂传统数据库,就不可能设计出优秀的GPU数据库;不懂传统CPU架构,就无法推动存算一体的演进。
2.3 底层技术为AI提供边界和约束
AI不是万能的。在确定性场景、安全关键系统、资源受限环境中,传统底层技术仍然是更可靠的选择。
航天器的控制系统、金融交易的核心系统、工业控制领域——这些场景要求绝对的确定性、可预测性和实时性,而AI的黑盒特性使其难以满足要求。在这些领域,传统底层技术仍然不可替代。
三、技术决策的边界:何时选择底层,何时拥抱AI
技术决策不是非黑即白的,关键在于理解问题的本质,选择合适的工具。这里我们可以建立一个决策框架。
3.1 适合使用AI的场景
- 不确定性问题:自然语言理解、图像识别等存在模糊性的场景
- 知识密集型任务:需要整合海量知识、进行复杂推理的任务
- 创造性工作:设计、创作、生成等需要创意的场景
- 人机交互:需要理解用户意图、提供个性化体验的场景
3.2 适合使用底层技术的场景
- 性能敏感场景:高并发、低延迟、高吞吐的系统核心
- 资源受限场景:嵌入式系统、边缘计算等资源有限的环境
- 安全关键场景:需要严格验证、保证确定性的系统
- 基础设施组件:数据库、消息队列、RPC框架等通用组件
3.3 混合架构是常态
在实践中,多数成功的产品都是混合架构的典型。以一个典型的AI应用为例:
- 表现层:AI驱动的用户交互界面
- 逻辑层:传统业务逻辑 + AI增强的决策引擎
- 数据层:传统关系型数据库 + 向量数据库的混合存储
- 基础设施层:传统网络/存储/计算 + AI优化的调度和资源管理
这种混合架构要求工程师同时理解AI技术和传统底层技术,才能做出正确的架构决策。
四、技术人员的职业发展建议
对于技术人员的职业发展,在这个AI时代,我有几个具体建议:
4.1 建立T型知识结构
- 横向扩展:了解AI技术的现状、趋势和典型应用场景
- 纵向深耕:选择一个底层技术领域(如数据库、操作系统、网络)深入钻研
- 中间融合:研究AI如何应用到底层技术,以及底层技术如何支撑AI
4.2 理解底层原理,不要被工具绑架
AI工具(如Copilot、GPT-4)可以提高编程效率,但它们不能替代对系统原理的理解。真正的工程师应该能够回答这些问题:
- 为什么选择这个数据结构?
- 为什么这样设计系统架构?
- 如何证明系统是正确的?
这些问题的答案,来自于对底层技术的深刻理解,而不是AI工具的代码生成。
4.3 关注技术的本质,而不是追逐热点
技术热点会变化,但本质不会变。今天养龙虾,明天可能养别的东西,但以下能力是永恒的:
- 抽象能力:从复杂问题中提取关键模型
- 建模能力:用数学语言描述问题
- 工程能力:将想法转化为可运行的系统
- 学习能力:快速掌握新技术的能力
这些能力的培养,底层技术的学习和实践是最佳途径。
五、未来展望:底层技术的新机会
AI的兴起不是底层技术的终结,而是底层技术的新起点。以下是一些值得关注的趋势和机会:
5.1 AI-Native基础设施
AI正在催生新一代基础设施:
- AI优化的数据库和存储系统
- 面向AI训练和推理的专用操作系统
- AI原生的编程语言和编译器
- 智能化的网络协议和通信机制
这些领域的创新,需要底层技术与AI技术的深度融合。
5.2 可解释性和可验证性
AI的黑盒特性是一个巨大挑战。解决这个问题的方向之一是:让AI系统的决策过程透明化、可验证化。这需要:
- 可解释的机器学习模型
- AI系统的形式化验证
- AI决策的因果推理框架
这些方向的研究,深深植根于传统的数学、逻辑学、软件工程理论。
5.3 AI的能源效率
大模型的巨大能耗已经成为现实问题。如何降低AI系统的能耗,需要从多个层面入手:
- 硬件层面的能效优化
- 算法和模型层面的精简
- 系统架构层面的调度优化
- 软硬件协同设计
这些优化,离不开对计算机体系结构、操作系统、编译器等底层技术的掌握。
结论:技术的本质是解决问题的工具
回到最初的问题:AI兴起,都在养龙虾,传统底层技术还值得研究吗?
答案显而易见:不仅值得,而且更加重要。
技术的本质是解决问题的工具。AI解决了一类问题,底层技术解决了另一类问题。真正有价值的工程师,不是只掌握某一种工具的人,而是能够理解问题本质、选择合适工具、并将不同工具有机结合的人。
在AI时代,底层技术不是被淘汰的遗产,而是支撑整个技术世界的基石。它不是风光的舞台中央,但它是舞台得以存在的地基。
所以,不要被表面的热点迷惑。如果热爱底层技术,就继续深入钻研;如果对AI感兴趣,就去拥抱变化。最重要的是:理解技术的本质,保持独立思考,做工具的主人,而不是工具的奴隶。
毕竟,热点会变,但解决问题的能力永恒。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐

所有评论(0)