引言

这段时间后台起码有几十个刚入门AI的朋友问我：“哥，我刚学AI，想配个机器，买什么GPU好啊？”“我预算只有一千，能不能买块二手卡入门？”“矿卡到底能不能买啊？会不会翻？”“A卡现在做AI行不行啊，比N卡便宜好几百呢”。

问的人多了我就想，干脆把我这些年踩过的坑、总结出来的经验整理成一篇文章，从入门者的角度讲清楚，选GPU到底要看什么，不同预算不同需求该怎么选，买到之后怎么配置才能少踩坑，不需要你懂太多硬件知识，看完你就能直接照着买照着配，不用再花几天时间翻零散的帖子踩坑了。

---

一、先想清楚：AI入门，你到底需不需要自己买GPU？

很多人一上来就说我要买块好GPU才能学AI，其实根本没想清楚自己的需求，白白花了冤枉钱。我把不同阶段的需求分清楚，你先对号入座：

1.1 刚入门啃理论，只跑MNIST、鸢尾花这种小数据集——别买，免费云足够

如果你才刚看完Andrew Ng的入门课，还在啃线性代数、概率论，平时只跑一些几MB的小数据集练手，完全没必要自己买GPU，现在市面上免费的云GPU平台足够你用了：

• 谷歌Colab：免费给16G T4显存，够跑大部分入门项目，缺点是国内需要搭梯子，长时间不操作会断连，数据容易丢；
• Kaggle Kernels：每周免费给30小时16G显存使用时间，不用翻墙，稳定性比Colab好一点；
• 百度AI Studio、阿里魔搭：国内平台，完全免费不用翻墙，每个月给十几个小时的免费GPU额度，对国内新手太友好了，我刚入门的时候就是用AI Studio练手，够用到你学完基础入门。

这种阶段你买了GPU也是放着落灰，完全没必要花那个钱。

1.2 每周用超过10小时，要跑自己的项目、做毕设、微调模型——长期用本地卡更划算

如果你已经过了入门阶段，每周都要花十几个小时跑代码，做自己的项目，那长期来看买一块本地GPU绝对比用云GPU划算，我给你算一笔账：
现在主流云GPU平台，16G显存的实例一小时大概2块钱，你每周用10小时，一个月就是80块，一年就是960，三年下来快3000，都够买一块不错的二手12G显存卡了。而且本地卡不用排队，随用随开，数据存在自己硬盘上，调试代码随便改，不会出现云平台重启把你跑了一周的数据删了的悲剧（我就碰到过，欲哭无泪）。

1.3 偶尔跑大模型，只是测试一下全参数微调——选云GPU按需付费就好

如果你只是偶尔需要跑个大模型测试，一年用不了几次，那就别买上万的高端卡，直接去云平台开按需付费的实例，用一次花一次钱，比买一块放着落灰划算多了。

先把这个问题想清楚，再决定要不要买卡，不要为了“我要学AI”的执念盲目花钱。

---

二、选GPU核心看什么？别被商家参数忽悠，这两个才是核心

很多新手看GPU参数一头雾水，CUDA核心、显存位宽、显存频率、TDP……商家吹了一堆参数，到底哪个对AI才重要？我给你捋清楚，对入门者来说，优先级非常清晰：

2.1 第一位：显存大小，没有之一

对AI训练和推理来说，所有的模型参数、输入数据都要放在显存里跑，显存不够，你再高的算力也没用，直接爆显存，代码跑不起来，什么都干不了。

我刚入门第一次买卡就踩了这个坑：那时候不懂，看GTX 1060 3G比6G便宜200块，就买了3G的，结果跑CIFAR-10的分类任务，batch size开2都爆显存，调小到1才能跑，一个epoch跑二十分钟，活活把人急死，用了不到一个月我就出掉换6G的了，几百块直接打了水漂。

给你一个入门级的显存需求参考，你对着自己的需求选：

需求场景	最低显存要求	推荐显存
入门经典项目（MNIST、房价预测、简单分类）	4G	6G以上
CV常规项目（目标检测、图像分割）	6G	12G以上
NLP项目（BERT-base微调）	6G	8G以上
Stable Diffusion画图/Lora训练	8G	12G以上
7B大模型4bit量化微调	8G	16G以上
13B大模型4bit量化微调	16G	24G
7B大模型全参数微调	16G	24G以上

结论非常简单：能买大一点显存就尽量买大一点，别为了省几百块买小显存，用不了半年你就要换，反而更费钱。我见过太多人图便宜买6G，跑了半年大模型发现不够用，还要再花钱换，两次花的钱加起来早就够买一块12G的了，纯纯浪费。

2.2 第二位：算力（CUDA核心数量）

显存够了之后，算力决定你的训练速度，同样显存，CUDA核心越多，算力越高，一个epoch跑的时间越短，省下来的时间都是你的生命啊。

比如同样是12G显存，RTX 3060有3584个CUDA核心，GTX 1080只有2560个，跑同样的模型，速度差三分之一都正常，你等两个小时和等一个半小时的区别，用久了你就知道这有多重要。

2.3 其他参数：都是商家营销噱头，对AI没用

很多商家吹“大位宽高性能”，什么256bit比128bit好多少，那都是给游戏玩家说的，对AI训练推理来说，位宽、频率的影响远不如显存和算力，完全没必要为了大位宽加钱，没用。

2.4 灵魂拷问：选N卡还是A卡？

这个问题我太有发言权了：19年那会，我为了省几百块，买过一块RX580 8G，那时候网上说ROCm出来了，A卡也能做AI，我信了，回来折腾环境，装驱动，装ROCm，折腾了三天，pytorch还是识别不出来显卡，查了无数博客，换了四五个版本，最后还是不行，那卡最后只能卖给挖矿的，几百块打了水漂。

所以给入门者的结论非常明确：能选N卡就绝对不要选A卡，不是A卡不能做AI，是N卡的CUDA生态太成熟了：所有AI框架（PyTorch、TensorFlow）第一时间支持N卡，所有入门教程都是基于N卡的，你出了问题随便一搜就能找到解决方案；A卡不仅框架支持滞后，出了问题搜出来都是三五年前的旧帖子，根本解决不了，纯粹给自己找罪受。等你成了大佬，想折腾性价比再玩A卡不迟，入门别碰。

---

三、分价位段选型推荐，都是亲测好用，入门直接照抄

我分了四个价位段，覆盖从学生党到进阶从业者的所有需求，每个价位段都讲清楚优缺点，适合什么人，你直接对着预算选就行：

3.1 预算1000元以内：学生党过渡首选，够用不浪费

这个价位段全新卡没有能打的，只能选二手，很多人谈矿卡色变，其实只要会挑，二手卡完全够用，我最开始入门就是用的这个价位的，用了两年一点问题没有。

• 首选：GTX 1660Super 6G / RTX 2060 6G
  价格：500-800元
  适合：纯入门练手，跑基础项目，学生党预算有限
  优点：这两代卡大部分都是游戏玩家升级换下来的，真正挖矿的不多，成色一般都不错，6G显存够跑所有入门项目，算力也够，比同价位老卡快很多，我身边三个师弟入门都是买的这个，用了两三年都没问题。我自己闲鱼淘过一块个人玩家出的2060，他升级4090换下来的，还在保，花了700块，用到现在三年了一点问题没有。

• 备选：GTX 1060 6G
  价格：300-500元
  适合：预算真的凑不出来，纯过渡
  优点：够便宜，6G显存也能入门，缺点就是太老了，算力低，功耗高，能用还是尽量选上面两个。

• 避坑提醒：

  1. 绝对不要买3G版本的1060、4G版本的1650，显存太小，用不了三个月你就要换，钱白花；
  2. 二手卡怎么避坑？我淘了好几次卡总结出来的经验：优先找个人卖家升级换下来的，不要买批量卖的“工作室下线卡”，那基本就是挖了两三年的矿，寿命差不多了；拿到卡先看金手指有没有严重发黑氧化，看风扇有没有异响，PCB板有没有鼓包；装上去之后跑半小时FurMark压力测试，再跑半小时模型训练，温度不超过85度，不花屏不黑屏就没问题；其实矿卡也不是不能买，我现在用的3090就是矿卡，用了一年多了正常得很，只要会挑，比新卡便宜一半，性价比很高，适合预算有限要大显存的朋友。

3.2 预算1000-3000元：长期入门，能玩大部分项目了

这个价位段能买到不错的新卡，或者大显存的二手卡，适合打算长期学AI、做毕设、跑小项目的朋友，性价比最高。

• 首选新卡：RTX 4060Ti 16G
  价格：全新约2600元
  适合：打算长期用，怕二手翻车，要跑大模型微调
  优点：16G大显存，够跑7B大模型量化微调，够跑大部分CV项目，Ada架构能效比高，功耗只有160W，普通电源就能带，新卡有三年质保，完全不用担心翻车，我去年给做CV毕设的表妹推荐的就是这个，跑YOLOv7目标检测、跑Lora微调都没问题，用到现在爽得很，绝对是这个价位段对新手最友好的卡。

• 首选二手：RTX 3060 12G
  价格：二手约1200-1500元
  适合：预算有限，要更大显存
  优点：12G显存比同价位新卡大了一倍，3060这卡是真的经典，我之前用了两年，跑BERT微调、跑YOLOv7、画Stable Diffusion都没问题，性价比拉满，只要不是矿卡，用个三四年完全没问题。

• 大显存刚需备选：RTX 3090 24G 二手矿卡
  价格：约3000元
  适合：需要大显存跑大模型微调，预算不够买全新卡
  优点：24G显存，够跑13B量化微调，甚至7B全参数微调都能凑合用，比全新4090便宜三分之二，性价比真的无敌，只要你挑的时候注意点，没什么大问题，我身边好几个做NLP研究的朋友都是用的这个，太香了。

• 避坑：不要买RTX 4070 12G，比4060Ti 16G贵了快一千，显存还小了4G，对AI来说性价比极低，别买。

3.3 预算3000-8000元：主力使用，满足1-3年进阶需求

这个价位段属于主力卡了，适合已经工作，或者打算靠AI接项目、做研究的朋友，一步到位不用经常换。

• 首选新卡：RTX 4080 16G
  价格：全新约7000元
  适合：追求稳定性，长期做项目
  优点：Ada架构算力强，能效比高，16G显存够大部分进阶项目用，如果你不怎么玩大模型全参数微调，只是做CV、NLP常规项目，这个卡能用四五年不用换，稳定性拉满。

• 首选性价比：RTX 3090Ti 24G 二手
  价格：约4000-5000元
  适合：需要大显存，预算有限
  优点：24G大显存，算力比3090高10%左右，比全新4090便宜一半，适合需要大显存做研究、微调大模型的朋友，性价比很高。

3.4 预算8000以上：高端需求，一步到位

如果预算够，直接上RTX 4090 24G，全新约10000元左右，24G显存，Ada架构，算力拉满，能效比好，不管你是做研究，还是做项目落地测试，还是微调13B大模型，都完全够用。我身边做AI创业的朋友，好几台工作站都是插的4090，比数据中心的A100便宜太多，性能足够个人和小团队用，性价比比专业卡高太多了。

额外说一句：笔记本GPU能不能做AI？

很多学生党只能用笔记本，问我游戏本能不能入门AI，我的答案是：完全可以。现在主流游戏本带RTX 3050 4G以上的，都能入门，3060 6G的话，大部分入门项目都能跑，就是长时间跑会发热降速，比台式卡慢一点，但是胜在方便，你刚入门不用特意配台式，用手里的游戏本先跑起来，入门之后再换台式完全没问题。我最开始入门就是用的拯救者Y7000，3060 6G，用了一年多，跑了好几个项目，做了毕设，完全够用，别拿没有台式机当借口不入门。

---

四、GPU到手怎么配置？我踩过的坑都给你列出来，照着做少踩半年坑

很多新手买完卡，装上之后就不知道接下来该干嘛了，装完驱动跑代码还是用CPU跑，识别不出来GPU，折腾好几天，我最开始就是这样，这里把步骤一步步写清楚，都是亲测有效的：

4.1 第一步：装驱动，这几个坑千万别踩

• ❌ 错：不要用Windows设备管理器自动更新驱动，不要用GeForce Experience自动更新驱动，我之前自动更新完，cuda版本不对，pytorch死活识别不了GPU，折腾了一天才搞定。
• ✅ 对：去NVIDIA官网驱动下载页https://www.nvidia.cn/geforce/drivers/，手动输入你的显卡型号，下载对应操作系统的最新正式版驱动，下载完安装，重启电脑就好了。
• 验证：装完之后打开cmd，输入nvidia-smi，如果能输出你的显卡信息、显存大小、驱动版本，说明驱动装对了，如果提示命令不存在，说明装错了，卸载重新装。

4.2 第二步：装CUDA和cuDNN，版本对应比什么都重要

很多人这里错，觉得CUDA越新越好，其实不对，CUDA版本要和你用的AI框架（PyTorch/TensorFlow）对应，不然框架绝对识别不了GPU，我刚入门的时候在这里踩了整整两天的坑：我先装了最新的CUDA 12，那时候pytorch还不支持CUDA12，结果死活识别不了，查了无数帖子才知道，顺序搞反了。

给新手的最简单正确流程：

1. 先确定你要装的PyTorch版本，去PyTorch官网https://pytorch.org/，看你要装的PyTorch支持什么版本的CUDA，比如现在最新的PyTorch 2.2支持CUDA 11.8和12.1，新手我推荐选11.8，兼容性最好，大部分开源项目都是基于这个版本的，出问题好解决。
2. 去NVIDIA开发者官网下载对应版本的CUDA，一路默认安装就行，环境变量会自动给你加好，不用你手动改。
3. 再下载对应CUDA版本的cuDNN，解压之后把里面的bin、include、lib三个文件夹复制到CUDA的安装目录下面覆盖就好了。
4. 验证：打开cmd，输入nvcc -V，输出对应的版本号，说明CUDA装对了。

4.3 第三步：安装框架，验证GPU可用性

还是跟着PyTorch官网给的命令装，别自己瞎找安装包，官网给的命令都是对应好版本的，不会错。

装完之后，打开python终端，输入下面这段代码验证：

import torch
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))

如果输出True，然后输出你的显卡名字，说明成功了！你可以开始跑你的第一个AI项目了。如果输出False，90%的概率是CUDA版本和PyTorch版本不对应，回去换对应版本重新装就好了。

4.4 显存不够怎么办？不用急着换卡，这几个方法能救急

很多新手买了6G显存，跑模型爆显存了，别急着卖卡换卡，试试这几个方法，大部分情况都能救：

1. 调小batch size：把batch size从32改成16、8甚至4，显存占用直接降一半，速度慢一点，但是训练结果差别不大，入门完全够用；
2. 梯度累积：如果你需要batch size=32，但是显存只够跑8，那你跑4次step再更新一次梯度，效果和batch size=32差不多，显存占用只需要跑8的，这个方法我显存不够的时候经常用，太香了；
3. 模型量化：用4bit或者8bit量化，现在有bitsandbytes这样的库，一两行代码就能实现，7B模型量化之后只需要8G显存就能跑微调，效果和全精度差不了多少，现在玩大模型都是这么干的；
4. 参数offload：把暂时不用的参数放到内存里，用的时候再调进来，速度慢一点，但是能跑大模型，适合应急用。

4.5 多GPU配置的坑，我踩过你别踩

如果你插了两块以上GPU，要注意两个问题：

1. 电源功率一定要够：一块3090满载350W，两块就是700W，加上CPU主板硬盘，起码要1000W以上的金牌电源，我最开始插两块3060，用的500W电源，一跑模型就跳闸，吓我一跳以为主板烧了，换了1000W电源就好了，别在电源上省钱，功率不够容易烧硬件；
2. PCIe通道问题：消费级主板插两块显卡，只有第一块是x16速率，第二块一般是x4，速度会降一些，入门用其实没问题，就是训练速度慢一点，追求性能再上工作站主板。

---

五、不同方向入门，针对性选型建议，直接对号入座

我把常见的AI入门方向分出来，给你直接推荐，不用自己纠结：

5.1 纯新手刚入门，只学基础跑经典项目

• 推荐：二手RTX 2060 6G（700元），预算够上全新RTX 4060Ti 16G（2600元），笔记本RTX 3050 4G以上就够
• 理由：6G显存够跑所有入门项目，价格便宜，就算以后不学了，出掉也亏不了多少钱，不会浪费。

5.2 计算机视觉方向，做目标检测、图像分割、Stable Diffusion画图

• 推荐：最少12G显存，优先RTX 3060 12G（二手1300），预算够上3090 24G（二手3000），新卡上4060Ti 16G，一步到位上4090 24G
• 理由：Stable Diffusion画1024*1024的图，训练Lora都需要大显存，12G才能流畅跑，大显存用着太舒服了。

5.3 NLP方向，做BERT微调、大模型Lora微调

• 推荐：入门8G显存够跑7B量化，16G够跑13B量化，优先4060Ti 16G（全新2600），预算够上3090 24G（二手3000），能跑7B全参数微调
• 理由：现在大模型微调都是用量化，16G显存足够大部分入门研究用，真要跑更大的模型，去云GPU按需付费就好了，不用自己买太高端的。

5.4 AI落地方向，部署模型测试性能

• 推荐：主流16G显存足够，服务器部署直接上多块4090，性价比比专业卡高太多，完全够用。

---

六、本地GPU还是云GPU？到底哪个划算

很多人纠结这个，我给你总结清楚优缺点，你自己选：

云GPU优点：

• 不用一次性投入，按需付费，适合偶尔用的用户；
• 不用自己装环境，平台都配好了，打开就能用，对新手友好；
• 想要多大显存就用多大的，要跑A100直接开，不用自己买。

云GPU缺点：

• 长期用成本比本地高，刚才算过，三年下来比买一块卡还贵；
• 高峰期要排队，排半个多小时才能用上，耽误时间；
• 数据要来回传，不稳定，平台重启容易丢数据，我就吃过这个亏。

本地GPU优点：

• 长期用成本低，一次投入用三四年，平均下来一年才一千多，比云便宜；
• 随用随开不用排队，调试方便，数据存在自己这里安全；
• 还能打游戏，一举两得，不浪费。

本地GPU缺点：

• 一次性投入大，对学生党不友好；
• 要自己折腾环境，出问题要自己解决，费时间。

结论：

• 如果每周用不到5小时，只是偶尔跑项目，选云GPU，我用过不错的有AutoDL、矩池云，按小时付费，国内速度快，性价比不错；
• 如果每周用超过10小时，要用半年以上，直接买本地卡，长期下来绝对比云划算，用着也舒服太多。

---

总结：别让硬件成为你入门AI的绊脚石

我见过太多刚入门AI的朋友，一开始就陷入了“设备焦虑”，天天研究买什么卡，纠结这个参数那个参数，预算不够就一直等，等了半年一年，还没开始学，硬件更新换代了，又更纠结了。

其实完全没必要，AI入门，最重要的是动手跑起来，是实践，不是你有一块好显卡就能学会AI。我最开始用3G的1060，照样学会了深度学习基础，照样跑通了第一个项目，后来慢慢做项目赚钱了，再换更好的卡，完全来得及。