4.大模型本地微调环境搭建-cuda、cudann安装
·
- 检查工具包命令:使用nvcc -V检查是否已安装GPU toolkit工具包
- 驱动检查方法:通过nvidia-smi命令查看cuda驱动版本和GPU状态
- 版本匹配原则:安装的cuda版本不能高于GPU驱动版本(如驱动显示12.3,cuda应选择12.1或12.0)
1.检查是否存在cuda
- 双重验证流程:
- 先执行nvidia-smi查看驱动版本(如577.05对应cuda 12.9)
- win+R----->cmd---->在命令行输入nvidia-smi

- 后续安装的cuda要低于这里的cuda版本
- 再执行nvcc --version确认是否已安装cuda编译器
- 先执行nvidia-smi查看驱动版本(如577.05对应cuda 12.9)
- 常见现象:
- 若返回"命令未找到"说明需要安装
- 若显示版本号(如11.7)说明已安装
2.若不存在GPU工具包,需安装cuda和cudnn
3.Windows安装CUDA
- Windows安装教程
- 下载注意事项:
- 官网地址:CUDA Toolkit Archive | NVIDIA Developer

- 选择与驱动匹配的版本(如驱动12.9选12.6)
- 查看电脑version


- Windows系统需选择exe安装包
- 安装流程:
- 运行下载的exe文件(如cuda_12.6.0_560_windows.exe)

- 选择"自定义安装"模式


- 保持默认安装路径(C:\Program Files\NVIDIA...)并记住

- 解决VS依赖:出现"No support Visual Studio"需安装VS2026

- 安装完成
- 下载注意事项:
4.CUDNN配置
- cudnn配置要点:
- 需注册NVIDIA账号下载对应版本
- 解压后将bin/include/lib文件夹复制到cuda安装目录
- 验证方法:执行bandwidthTest.exe和deviceQuery.exe显示PASS
- cuda和 cudnn版本需要对应上,否则使用gpu时会出现不兼容的问题。Cuda 和cudnn版本的匹配关系如下链接中获取:
cuDNN Archive | NVIDIA Developer 找到刚才安装的 cuda版本对应的cudnn 下载项进行下载。

- 选择window版本,进行下载。注意:此时需要注册一个英伟达账号,用邮箱按照流程注册即可。注册完再点下载就可以完成cudnn的下载。


- 将下载的zip cudnn文件解压并放到cuda对应版本下


- win+R-> cmd->输 入 cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\extras\demo_suite
- 输入命令 bandwidthTest.exe

- 输入命令: deviceQuery.exe

- 如果显示PSS和相应的version的话,说明cudnn安装成功
5.anaconda/miniconda的安装
https://blog.csdn.net/2301_77118221/article/details/1377
下载地址:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror




AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)