项目背景：国资尾部券商，迫于 CIO 想出 AI 相关成绩，遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。
1
Select Language