V2EX › babyedi31996 的所有回复 › 第 3 页 / 共 5 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5

❮

❯

2024 年 10 月 31 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@shuimugan 官翻+员工优惠在哪里可以买到?

2024 年 10 月 31 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@yshtcn 是可以的,我看林亦在 b 站的视频,他是用 120G 统一内存的 Mac Studio 跑 120b 量化模型.好像也有 4-5t/s 没记错的话.

2024 年 10 月 31 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@fulajickhz 长见识了,感谢这位佬友.我去看看学习下.

2024 年 10 月 31 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@halida 尝鲜嘛,就像 30 年前能花 5000 买个人 PC 的那些人一样~

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@shuimugan 教育优惠顶配芯片的 192G M2 Mac Studio 大概 47000.要不要等等 M4 的新款?

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@shuimugan "所以 Mac 跑大语言模型推理，只有 Ultra 系列的大带宽 + 大内存这样的顶配合适，而且跑相同参数量的模型，速度基本上是多张 2080ti 22g 组成相同显存的服务器跑推理速度的 1/3 ~ 1/2 ，当然优点也非常明显，很省电很不占空间，甚至还能通过雷电口串联 4 个 Mac Studio 来跑分布式推理，可以跑更大的模型。"

就凭大佬您的经验,以上这个优点就秒杀自己组建 PC 了.
2080ti 22G 都是魔改卡,稳定性和质量都太不稳定了,后期维护/耗电/噪音/空间占用的等等耗费的精力远超省下来的价值.
这套机器不玩了之后只能卖废铁,但是 Ultra 系列随便卖都有人要

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@shuimugan "如果你用显卡 + CPU 跑，那么带宽指的就是就是显卡带宽 + 内存带宽（这个是最垃圾的组合，我愿称之为拖后腿）"
这句说得太对了,本来量化 13b 还有 4~5t/s 的.gguf 在爆显存之后,直接蜗牛...什么玩的心情都没了.

太专业了,感谢,受益匪浅.

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@LaTero 感谢大佬,长见识了.试试 openrouter 一会

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@LaTero 感谢回复,但是在线隐私还是有一点担忧阿.openai 和 claude 是不封号了,但是这个 openrouter 会不会审查或者封我的号...

2024 年 10 月 30 日

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

@hez2010 感谢这位大佬,这个模型需要多大显存可以使用阿?不太理解 16x3.8B 的意思.
比 4o-mini 还高那真的完全够用阿