编者注：此文完全是数字推演，不代表真实硬件能力。笔者不对信息准确度负责。
信源会罗列在文章下方
结合 256GB 统一内存来看，目前比较有价值的就是运行 ds-v4-flash-0731 ，恰巧最近 omlx 有过一次版本更新，官方性能数据如下：信息来源
然后，M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据，其 prefill 性能是 M3 Ultra 的 4 倍（ ollama 数据，框架不同，只能参考）
所以大概预期，M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是：
prefill
| 上下文 | M3U （ v0.5.4rc2 ） | 3× | 4× |
|---|---|---|---|
| 1K | 531.0 | ~1590 | ~2120 |
| 4K | 486.5 | ~1460 | ~1950 |
| 64K | 468.5 | ~1410 | ~1870 |
| 128K | 438.6 | ~1320 | ~1750 |
decode
| 场景 | M3 Ultra | M5 Ultra 预计 |
|---|---|---|
| MTP 关，1K | 27.6 | ~40 |
| MTP 关，4K | 25.8 | ~38 |
| MTP 关，64K | 22.8 | ~33 |
| MTP 关，128K | 21.3 | ~31 |
信息来源： https://newreleases.io/project/github/jundot/omlx/release/v0.5.4rc2
Select Language