weiming 最近的时间轴更新 weiming 最近的时间轴更新 |
weimingV2EX 第 13087 号会员，加入于 2011-10-29 11:08:37 +08:00今日活跃度排名 17217 |
weiming 最近回复了
18 天前 回复了 thiiadoewjwe 创建的主题 › 问与答 › 有没有和亚瑟士的平替，鞋型差不多的，日常通勤穿 |
美津浓+1 ，asics 我就没有一双能穿一年的
98 天前 回复了 Dorathea 创建的主题 › 问与答 › 喜欢《凡人修仙传》的可以来说说为什么那么喜欢么? |
小说就是传统的升级打怪，看多了极其单调，但是占据了修仙小说的生态位。
动漫做工精致，价钱公道，不单是和动漫比，和现在各种电视剧比也是优质到出圈。
认真的团队总会被看到。
动漫做工精致，价钱公道，不单是和动漫比，和现在各种电视剧比也是优质到出圈。
认真的团队总会被看到。
212 天前 回复了 Dewchame 创建的主题 › 配件 › 夏天来了，兄弟们有没有推荐的 iPhone14pro 手机壳，很轻薄的，需要 magsafe 功能， 50 以内就好 |
买边框壳挺好的，只有边框和镜头覆盖，轻便不影响 magsafe 。
235 天前 回复了 vxthon 创建的主题 › 路由器 › iPhone 15 系列连接红米 AX6 和 AX3600 路由器重启问题 |
艹，我早晨也遇到了，折腾一上午才发现只要手机连 wifi 就 crash 。15 Pro+ ax3600,这都猴年马月了还不解决。
266 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
4 并发 17t/s 。a800 没有原生 fp8 支持，算力大打折扣。而且最近 vllm 在 H 系列上的优化 patch 挺多的，拍脑袋至少还能再快个 30%。
266 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim vllm 0.7.2 awq
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
266 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim 不应该啊，我用 A800x8 都有 30t/s 。用这个配置, https://huggingface.co/cognitivecomputations/DeepSeek-R1-AWQ
266 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
vllm + awq 量化
Select Language