 |
zoozobibV2EX member #86628, joined on 2014-12-14 16:10:35 +08:00Today's activity rank 12648 |
| 求问， macbook 在远程场景下如何被唤醒或连接？ 问与答 • zoozobib • Jul 8, 2025 • Lastly replied by zoozobib | 1 |
zoozobib's recent replies
9h 17m ago Replied to a topic by babymonster › Local LLM › 都 2026 年了，为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型？ |
turboquant 、dflash 后的 395 更没优势了 , 吃的多和跑得快完全不是一个维度
Apr 11 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
@nidhogger pcie 35-38 左右的 token , --model ./google_gemma-4-31B-it-Q4_K_L.gguf --mmproj ./mmproj-gemma-4-31B.f16.gguf -ngl 99 --tensor-split 14,26 --ctx-size 204800 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --cache-ram 0 -np 1
Apr 11 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
@nidhogger 32g + x570e + [4080s(或 3090 nvlink) + 3090] + c2000 2t ; 如果双显卡是 nvlink ，性能会比我当前还好，我现在是跑 pcie
Apr 10 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
@viskem 配置不错，可以关注下 mlx + turboquant 的方案，现在玩家不少了
Apr 10 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
@viskem 没试过 27B 的 gemma4 , btw 有人觉得 qwen3.5 27b 很猛，我之前也用过一段时间，不过它性能一般且废话太多；另外，moe 和 dense 在复杂任务下还是有明显区别的，moe 我之前玩下来 还是可以的，不过上下文别太大，主打一个性能绝佳，跑跑 agent 任务还可以，开 reasoning 的情况下.
Apr 10 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
不过我最高开 200K 的上下文，到 120K 以上的上下文 token 速度有所下降
Apr 10 Replied to a topic by viskem › AI Agent 智能体 › MacOS 上搭建了本地的 Gemma4，如何与它协作最高效？ |
已经用 gemma4 31b q4 量化的版本重构了半个 app 了，现在主力用它，opencode + openclaw + hermes ，接入了几个必用的 mcp ，如 word amap chrome opencli 等等，反正目前写文档、旅游计划、写代码主用这个模型。双显卡 上下文 35-58 所有的 token ，目前从涉及到的所有项目上看，很能打； moe 没试过
Select Language