作为一个深度学习的小白，最近在搞 llm 微调。
用过 colab ，gpu 云服务部署过模型，但感觉都不是很方便
想拥有一台自己的深度学习工作站。但对硬件配置不是很懂
例如是选择专业卡还是消费卡。是 v100 ，还是 4090 ，还是 3090
如果要微调 70b 往上的模型，单卡显存不够的，具体怎么配置还请有经验的大佬指教一下
预算： 2w-3w+ （个人学习预算） 上限: 8w （公司预算）
要求： 1.能微调 7b~100b+ 2.尽可能便宜
This topic created in 756 days ago, the information mentioned may be changed or developed.
 |
1
osilinka May 7, 2024
目前性价比最高的是 3090 ，就看你能买多少
|
 |
2
hrn961110 OP 具体的配置可以推荐一下么
|
 |
4
cloud2000 May 7, 2024
消费级最多微调 7-13B, 100B 是不现实的，只能云端。
|
|
5
osilinka May 7, 2024
|
 |
6
vincent7245 May 7, 2024
个人学习，我是一个旧电脑上的 8 代 i3 ，买了两块 Tesla P40 花了大概一千，从学习机器学习到现在调大模型，一直用的挺好的，慢点就慢点，又不是不能用。
|
|
7
hrn961110 OP |
Select Language