wwhc's recent timeline updates wwhc's recent timeline updates |
wwhcV2EX member #145809, joined on 2015-11-05 06:54:06 +08:00Today's activity rank 14666 |
| Taalas 推出首款专用 ASIC 加速卡 声称实现亚毫秒级推理 分享发现 • wwhc • Feb 23 • Lastly replied by 7gugu | 2 |
| Marie Fredriksson 去世了，流行音乐黄金时代的代表乐队 Roxette 不复存在 音乐 • wwhc • Dec 12, 2019 • Lastly replied by KentY | 4 |
| 寻求中国境内网站开发合作伙伴 外包 • wwhc • May 1, 2018 • Lastly replied by bingod | 4 |
wwhc's recent replies
2 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@clemente 我建议你实际部署以体验真实的情况
3 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@clemente DeppSeek 开源的是 167GB 的版本，仓库里标明了大小
DeepSeek-V4-Flash-0731
167 GB
https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731/tree/main
DeepSeek-V4-Flash-0731
167 GB
https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731/tree/main
3 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@clemente DeepSeek 开源的是 4B 版本，也就 167GB 左右，你可到 huggingface 计算具体大小
4 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
两块 RTX PRO 6000 ，配置 llama.cpp 用于提供推理服务，满血 v4 flash 也就 160GB 左右。就算是单 RTX 5090 ，也够个人用，输出也可以达到 10-20t/s
Jun 19 Replied to a topic by frankyzf › Local LLM › 有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗 |
等 llama.cpp 合并 Deepseek v4 的补丁到主线吧
Jun 6 Replied to a topic by plko345 › Windows › windows 终将成为最好的 Linux |
微软的前途在于把 Windows 变成 Linux 的发行版之一
Jun 1 Replied to a topic by SilenceLL › 硬件 › 站里没人看老黄的新电脑吗 |
如果不提供对 Linux 的良好支持 这个体系在 AI 领域并不具备竞争性
Jun 1 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
RX9070 对标 Nvidia Titan V 的 AI 推理性能
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
llama.cpp 的优化参数也很多，绝对性能目前可能仍不及 vllm 强，但可用性、易用性、可调性及部署能力都远强于 vllm
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
7900xtx 在 llama.cpp 下支持良好，推理时的预填充速度可能只比 4060ti 稍强，但 token 生成速度与 3090ti 相差不大
Select Language