搭建本地大模型运行环境
·
1.前往 NVIDIA 官方驱动下载页
2.CUDA Toolkit
安装 CUDA 12.1 版本，因为 PyTorch、Transformers 等主流框架对其全量适配，坑最少。
3.部署 cuDNN 神经网络加速库
cuDNN 是大模型推理速度的关键依赖，不装会导致速度大幅下降或降级到 CPU 运算。
必须与 CUDA 严格对应，CUDA 12.1 推荐搭配 cuDNN v8.9.7（不建议新手尝试 9.x 版本）。
nvidia-smi：查看驱动状态及支持的 CUDA 上限版本。nvcc -V：确认实际安装的 CUDA 运行时版本为 12.1。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)