- 从部署、厂商支持等角度来说
- 200w 以内显卡预算
 |
1
Flagship9945 OP 有没有有经验的老哥
|
 |
2
michaelzxp 18h 46m ago
摩尔 s5000 的 8 卡整机
|
 |
3
Jiajin 18h 46m ago
昇腾 910B2
|
 |
5
cocogovern 18h 18m ago
这么厉害的预算，是啥应用啊
|
 |
6
DeYiAo 18h 17m ago  5
最合适的是 PPU 1 代，16 卡。 最近涨价了预算不知道够不够。
PPPU 2 代，刚发布，8 卡，能买得到应该是最佳。 考虑昇腾系列的前提是，你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ，或者财大气粗让华为的工程师驻场。 |
 |
7
Babbitt 18h 4m ago via Android
最近公司也有这需求，预算差不多，想部署 deepseek v4
|
|
8
Flagship9945 OP @cocogovern 这预算算少的了
|
|
9
Flagship9945 OP @DeYiAo 昇腾问题很多吗？
|
 |
10
yyttrr 18h 2m ago
除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的
|
 |
11
skuuhui 17h 58m ago
没经验不推荐国产显卡部署，坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司，直接上门安装包售后那种。
|
|
12
Flagship9945 OP @skuuhui 信创没办法
|
 |
13
Clannad0708 17h 47m ago 1
国产显卡性能差，你即使部署了本地大模型效果也远不如网页版的能力，只能说不清楚需求。
|
 |
14
vandort 17h 42m ago
不知道你要部署什么模型，但是现在模型出的这么快，从尽可能支持最新的模型的角度来说，选显存大的，卡内带宽高的（ 200W 也做不了多机互联），厂家支持到位的；符合前面三个条件下，选支持 FP8 ，最好能支持 MXFP4 的；这些都满足的情况下，选省电的，便宜的，能稳定供应的
|
|
15
Flagship9945 OP @Clannad0708 政府项目就这样，领导跟风拍板，最后往往草草了事，样子上说的过去就行。
|
 |
16
cpper 17h 30m ago
这种部署最终都是浪费掉的，说实话
|
 |
17
byteX 17h 30m ago
哎
信创 |
|
18
Flagship9945 OP 1
@cpper 整条线上的人赚钱了，😃
|
 |
19
strobber16 17h 27m ago
微内核
|
|
20
Flagship9945 OP 有经验的老哥可以合作
|
 |
21
diudiuu 17h 23m ago
看显存和带宽，合适就买
|
|
22
cpper 17h 23m ago
@Flagship9945 因为可以收回扣的
|
|
23
cpper 17h 22m ago 2
@Flagship9945 并不是他们蠢所以拍屁股做的决策，而是因为可以收回扣，有利益
|
 |
24
xiaxichen 17h 21m ago
我测过几家的显卡只能说阿里的 ppu 还是能用的,其他的都不太行.尤其吹的锣鼓震天响的华为.
|
 |
25
newaccount 16h 37m ago 1
政府项目不要瞎搞，你想部署哪个模型，联系对方咨询软硬件环境，人家也乐于多几个样板工程
|
 |
26
catazshadow 16h 33m ago via Android 18
纳税人的钱就这么被烧掉了
|
 |
27
mingtdlb 16h 30m ago
国产都有哪些 GPU ？华为昇腾、天数智芯，还有哪些，海光好像也有
|
 |
28
cctvbnm111X1 16h 25m ago
如果现在上项目，那必须是昇腾 950dt ，fp8 都不错了，反正有技术支持，其他几个厂都要慢的多，如果你说自己玩，那还是 ppu ，cuda 生态容易点
|
 |
29
whoops 16h 20m ago
有信创要求，你的选择也就这九个，你可以了解一下平头哥，据说比华为的坑少一点，https://www.itsec.gov.cn/aqkkcp/cpgg/202605/t20260526_259396.html
|
 |
30
songray 16h 15m ago
国内的卡基本都是偏科的，建议先去云服务上租不同型号，把自己的 POC 跑通。
|
 |
31
wskymark 16h 11m ago
这东西不是只需要考虑一上指标吗？哪家有利润要哪家的
|
 |
34
xiaomushen 15h 58m ago
@Jiajin 这东西只有理论算力。。。实际极难发挥
|
|
35
xiaomushen 15h 57m ago
@cpper 又不是你口袋里的钱，有啥浪费不浪费的。哪怕外企里买了 H100 部署，你能保证大部分情况下，不是浪费么？
|
 |
36
google2023 15h 53m ago 1
@DeYiAo 武汉某高校去年 4000W 用在昇腾身上，技术支持都远远跟不上
|
|
37
google2023 15h 52m ago
@skuuhui 麻烦推荐几家？最好有武汉的，要真正技术实力强的
|
 |
38
xxmaqzas 15h 40m ago
我们信创项目都用的昆仑芯 P800 只能说不太好用
|
 |
39
find 15h 31m ago via Android 1
看了好多评论，果然是殖人思想。难道一辈子都要受制于别人吗
|
 |
40
codingmiao 15h 23m ago 2
用过海光、昇腾、平头哥。昇腾自建生态加上文档稀烂，体验就是一坨。另外两家 cuda 上能跑的代码随便改改就能跑起来，但比起 n 卡来性能和体验还是要差不少。
|
|
41
cpper 15h 9m ago 6
总有些人以为是在创新和防止卡脖子，其实背后全是利益和勾兑
|
|
42
cpper 15h 9m ago 2
@xiaomushen 我每年个人所得税交几十万，还不能关心下蛀虫浪费税收了？
|
|
43
cpper 15h 8m ago
有些人揣着明白装糊涂，信创都是些什么东西心里没点数吗
|
|
44
Flagship9945 OP 产品选型，不涉及其他的～～
|
|
45
cpper 15h 6m ago 10
@xiaomushen 外企就是把买的卡扔到水坑里都无所谓，只要不是花的税收的钱。但信创的那些单位花的钱来自于哪里你心里没数？
|
 |
46
jacketma 14h 46m ago
网上不是爆昇腾 910b 、910c 都是 TSMC 代工的 7nm 么（算能科技发包），工艺品控应该可以，就看你这边部署能不能适应软件生态了
|
 |
47
EngelEyes 14h 39m ago
七彩虹🐶
|
 |
48
abel533 14h 22m ago
@songray #33 这两家找过多个入口，都看不到能选 GPU 的地方。。想从头在一台机器部署大模型测试，方便提供一个选择型号的入口界面吗？问过 AI ，说有，根据步骤走不通。
|
 |
49
murmur 13h 30m ago
阿里 平头哥
|
 |
50
jokechen 13h 29m ago
昇腾 910c 部署 deepseek 遇到了一个 bug ，直接影响使用，还是要谨慎些。
https://github.com/vllm-project/vllm-ascend/issues/9170 |
 |
52
CloudnuY 13h 1m ago
平头哥也有坑，vllm 镜像只能用内部分发的，启动之后模型时不时出现各种问题（循环、无法调用 tool 、思考链无法控制、答非所问等等）
|
 |
54
a791633597 11h 36m ago
阿里华为我这边都做，部分卡要后台申请开白才能看到，有兴趣可以聊聊
v：dmzzx123 |
 |
57
Liftman 11h 23m ago
如果是有特定的项目，而不是单纯的部署算力需求，我建议你找一家，做成产品，单兵化的设备，他封装好。这样你不需要解释里面是什么牌的算力。。。
|
 |
58
elehayym1618 11h 17m ago 3
昇腾，kunlun ，ppu ，海光，燧原我都适配过，说实话纯粹就是浪费纳税人的钱，适配这些东西你的狂躁程度会高的离谱，各种你想象不到的问题，而且也没有渠道解决。
比如 kunlun ，他们的 vllm 还是基于 0.15.x 打补丁的，很多新的模型都不适配，然后有些量化的 config 也没有人写，但自己改吧改吧也能用。 昇腾是纯垃圾的骗钱玩意，我都不知道这东西他们自己有没有测试过，对着官方文档都起不来。他们那个 mindie ，cicd 肯定是没有的，上个版本还能跑的东西新版本就跑不了了，硬件也垃圾，动不动就掉卡，买这个就是纯粹给他们当免费测试当小白鼠。 |
|
59
xiaomushen 11h 14m ago
@cpper 关心就关心呗，那你能说服北京那边，要求信创单位购买 N 卡么？
|
|
60
xiaomushen 11h 11m ago
|
|
61
xiaomushen 11h 6m ago
@elehayym1618 昇腾的理论算力只能用在静态图上，比如 TensorFlow,Yolo 上。对付 LLM 这些动态玩意儿，真的无解
|
|
62
Flagship9945 OP @elehayym1618 #58 老哥有兴趣加微信吗，后续有机会可以合作。
|
 |
63
zcj920 10h 50m ago
910B 单机 GLM5 Q8 只有 20tps
|
 |
65
wildwind2333 10h 23m ago
平头哥 PPU 好点 但也一堆问题，还必须阿里工作人员去适配模型，自己目前拿不到测试服务器去适配
|
|
66
xiaomushen 10h 21m ago
@xiaxichen GLM5 ，MoE 744B ，激活 40B ，Q8 部署，单卡显存倒是能满足了。这速度嘛。。。很符合昇腾的实际表现
|
|
67
xiaxichen 10h 17m ago
@xiaomushen 那还有啥用 都不如直接买充钱买 api 了
|
 |
68
wanghanthu 10h 11m ago
200W 还是买 token 吧，这点钱不够硬件厂商技术支持费用的，新模型出来打算自己 debug 吗？
|
|
69
xiaomushen 10h 4m ago
@xiaxichen 涉密单位不允许连外网呗
|
|
70
xiaxichen 9h 58m ago
@xiaomushen 我看阿里云有那种 tokenplan 企业版说是不用回答作为训练数据 这种单开 url 通过应该可以吧
|
|
71
xiaomushen 9h 54m ago
@xiaxichen 没用，涉密单位不能连外网，物理隔离的。所以才需要本地信创算力。
真的是一言难尽啊，再说了，正规渠道层面，老美也严禁出售计算卡给那些单位，抓到后，全球追捕全链路经销商，也是神经病。。。 |
 |
72
yinanc 9h 41m ago
感觉这个帖子的讨论很有价值
|
|
73
Jiajin 9h 21m ago
昇腾 910B2 、海光 K100AI 都用过，推荐昇腾 910B2 。950 我不推荐是因为你 200 万买不了 8 卡
910B2 是能用的。勉强能用的那种。 |
 |
74
JoveYu 9h 4m ago
别说国产了，玩 AMD 用 ROCm vLLM 也是差不多的体验
|
 |
75
pepesii 9h 0m ago
@elehayym1618 kunlun ，确实是一坨！文档压根走不通！
|
 |
77
VeteranCat 8h 5m ago
别折磨自己， 这些国产显卡的技术支持你个人是获取不到的， 个人使用最好跟着社区的支持来，cuda 是你的唯一稳妥选择，ROCm 你都会和吃粑粑一样难受的。
|
 |
78
MarioBros 8h 2m ago
#find #39
让我想起了光刻机  |
 |
79
runzekk 7h 3m ago 1
真是一堆想润海外，别人都不要的。也就是在国内大家技术素养还不高，没有给一些智商情商有问题的淘汰掉。
真是不知道搁这口嗨能有什么意义，一个正常适配模型的帖子也能键政，看着都恶心。 本来对键政是中立的，没有观点的，看了这么多无脑喷子都开始反感键政的了。 有什么想法就去提，想做什么事就去做，实在不行直接润，搁这影响别人心情。 |
 |
80
raycool 6h 26m ago
阿里的平头哥～
|
|
81
xiaomushen 6h 23m ago
@runzekk 也不能这么说呀。总归吐槽吐槽咯，虽然从国家安全的角度上说，能理解信创。但此刻国产计算卡实在是太难用了。而且尤其是 NPU 线路的，当下的昇腾卡，搞基于动态图的 LLM ，哪怕是做推理，也是接近扯淡的存在：累死 AI Infra 打工仔
PS：也理解西大不允许用 Huawei 的通信设备---国安角度 |
|
82
xiaomushen 6h 22m ago
@VeteranCat 国安，涉密，信创。这样的大前提下，就别想 N 卡了。捏着鼻子搞国产卡叭...
|
|
83
xiaomushen 6h 20m ago
@runzekk 又不是搞 LLM 底层的清北本硕，普通码农打工仔，润出去也没人要啊，只能和老墨一起修草坪
|
 |
84
jetsung 6h 10m ago
说是 8 月份上 950DT 。前两天看到新闻说 哈工大深圳 + 华为，还有一个忘记是哪个单位了，联合搞出了个支持 deepseek v4 pro 的。v4 flash 已经支持了。AtomGit 上面有看到
https://ai.atomgit.com/models?ascendNative=true&ascendEcosystem=true |
|
85
Flagship9945 OP @Jiajin 部署起来是不是很麻烦？
|
 |
86
Mandelo 5h 36m ago
都信创了，还管啥好不好，重要不是结果，而是花经费写 PPT
|
 |
87
HojiOShi 5h 31m ago
之前把玩过摩尔线程的卡，跑了一下 llama.cpp ，只能说就是纯电阻丝，毫不夸张。然后它那点可怜的 MUSA SDK 还要登录才能拿到手。
|
 |
89
mmdsun 4h 40m ago
你们是做开发？还是只是部署模型？
我们公司买的昇腾 910B ，先开始的 docker 都拉不下来 一看是内网的。。 后面就给个了镜像导出的才部署好。不过好在用着没什么问题 qwen\deepseek 都本地部署过。 |
|
90
Flagship9945 OP @mmdsun #89 我们只要部署好就可以了
|
 |
91
smlcgx 4h 16m ago
这个数感觉是写材料用的，试试华为那边能不能梭哈了，你跟领导都省心
|
 |
92
zhanying 4h 15m ago
@Flagship9945 910 系列问题很多，只支持 SIMD
|
 |
93
ezwangsong 3h 56m ago 1
信创项目选型，图省心直接上**阿里平头哥 PPU**。从帖子里看，PPU 至少延续 CUDA 生态，模型改改就能跑，内部也在吃自己的狗粮，比昇腾的闭门造车强多了。
如果领导点名或只为交差，那就**华为昇腾 910B2**。虽然大家都说文档稀烂、动不动掉卡，bug 也多，但这是政治正确的最优选，且华为有驻场工程师能给你兜底，这 200 万里必须含原厂技术支持的费用。 最后提醒一句：**先别急着买，去阿里云或华为云租几块同型号的卡跑一遍**。国产卡兼容性看命，只有自己实测能跑通你要的模型，这钱才不算白烧。 |
|
94
xiaomushen 2h 52m ago
@zhanying 那玩意儿就是个大号 NPU ，根本不适合跑动态图的 LLM 。950 倒是改成 SIMT 了（ GPGPU ），还号称兼容 CUDA ，不知道效果咋样。
我觉得 910 就是 HW 抄袭寒武纪 NPU 后，最终的进化形态。结果发现 NPU 这条楼基本是死胡同，一咬牙改换门庭，走 SIMT 路线 |
 |
95
ludyleocn 2h 34m ago
又学到东西了。
|
Select Language