V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  tubanwu  ›  全部回复第 1 页 / 共 14 页
回复总数  262
1  2  3  4  5  6  7  8  9  10 ... 14  
+1 每月 60
买个二手的 M1MAX 64g 的玩玩得了
23 天前
回复了 Brightt 创建的主题 iPhone 你们的 iPhone 相机键还好吗?
经常用还没坏
5 月 21 日
回复了 memos 创建的主题 买买买 看选苹果还是选小米有感,十年米粉转黑
别的不说,澎湃 OS3 流畅度比 iOS26 那是高多了
@KaiWuBOSS 跑不起来
本地大模型部署器 vv0.3.1 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 5060 (SM120, 8151 MB VRAM, 448 GB/s)
RAM: 31 GB DDR4
OS: windows amd64
⚠️ CUDA 13.2 detected — known bug with low-bit quantization
If you see garbled output, downgrade driver to CUDA 13.1
Warning: RTX 50 series with CUDA 13.2 detected
Kaiwu will use CUDA 12.4 binary for stability.

[2/6] Selecting configuration...
Model: Qwen3.6 35B A3B Claude 4.7 Opus Reasoning Distilled (moe, 22B total / 1B active)
Quant: Q22 (13.5 GB)
Mode: moe_partial
Accel: Flash Attention + SWA-Full (hybrid arch)

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled.i1-IQ3_XS.gguf [cached]

[4/6] Preflight check...
✓ VRAM sufficient

[5/6] Warmup benchmark...
RTX 50 系首次运行,正在编译 CUDA 内核(约 60s ,仅需一次)...
✓ CUDA 内核编译完成,后续启动将秒开
⚠ JIT 预热失败: exit status 0xc0000135
Probe 1: ctx=128K ... OOM
Probe 2: ctx=64K ... OOM
Probe 3: ctx=32K ... OOM
Probe 4: ctx=16K ... OOM
Probe 5: ctx=8K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足,降低上下文至 4K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 连续 2 次启动失败,即使最小上下文(4K)也无法运行

NVIDIA GeForce RTX 5060: 8151 MB VRAM
模型 Qwen3.6 35B A3B Claude 4.7 Opus Reasoning Distilled: ~13813 MB
KV cache (4K, q4_0): ~80 MB
预估总需: ~14917 MB

差额: 6766 MB

建议:
1. 选择更小的量化 (Q4_K_M 或 Q2_K)
2. 选择更小的模型

Usage:
kaiwu run <model> [flags]

Flags:
--bench Run benchmark after starting
--ctx-size int 手动指定上下文大小( 0=自动)
--fast Skip warmup, use cached profile
-h, --help help for run
--host string 监听地址(默认 127.0.0.1 ,用 0.0.0.0 开放局域网) (default "127.0.0.1")
--llama-server string 使用自定义 llama-server 二进制(完整路径)
--mode string 模式选择: speed/balanced/context (默认用上次选择)
--reset 清除缓存,重新 warmup 探测最优参数
4 月 22 日
回复了 iknewtoday 创建的主题 问与答 你们都 vibe 了啥不赚钱的东西
@andyskaura 谢谢哥
4 月 22 日
回复了 iknewtoday 创建的主题 问与答 你们都 vibe 了啥不赚钱的东西
@andyskaura 等你下周的 win 版本
谢谢大佬
2025 年 1 月 20 日
回复了 tubanwu 创建的主题 宽带症候群 [求助] 成都最便宜的宽带套餐是什么?
@Vendettar #30 我是去四川联通贴吧里找的,不知道现在还有没有。
2025 年 1 月 13 日
回复了 TonyLab 创建的主题 宽带症候群 成都联通出新套餐,成都电信啥时候能跟上 fuck
成都联通动态公网 IP 怎么申请能说一下吗?
2024 年 12 月 25 日
回复了 yangtianming 创建的主题 问与答 关于国补的商家套路
同款空调双十一的时候京东自营国补到手价我买成 1580 。你 6 月是不是赶上 618 的价格了
红米 turbo3 ,性能不错价格便宜,也支持 80%充电上限,可以去某鱼看看有没有已经解锁的二手机
2024 年 11 月 6 日
回复了 Geele 创建的主题 京东 京东购买小米洗衣机后的垃圾体验!
我买过两个小米洗烘一体机好像没有这种明细的刺鼻气味,虽然不是同一个型号但是应该都是吉德代工的。用过海尔海信的冷凝式洗烘一体机,洗烘完之后的味道和小米洗烘出来的没有太明显的区别。
2024 年 10 月 30 日
回复了 mqllin 创建的主题 小米 小米 14U 和小米 15 Pro 如何选择?
买新不买旧,除非小米六
2024 年 9 月 29 日
回复了 iSecret 创建的主题 小米 小米空调制冷湿度越来越高
风速开到最低之后,制冷速度也不会过于快,可以避免频繁停机导致的湿度回升。
2024 年 9 月 29 日
回复了 iSecret 创建的主题 小米 小米空调制冷湿度越来越高
手动把风速开到最低( 0%),让空气充分冷凝。这样湿度就不会太高。开到最低之后还是湿的话就只能把温度开低一些。
2024 年 2 月 3 日
回复了 Lyn321 创建的主题 职场话题 都陆续放假了,我还要连上四天,要吐了。。。。
@hay313955795 #4 我们也是连上九天还要上四天,人都麻了。
2023 年 12 月 27 日
回复了 GCP 创建的主题 生活 各位程序员,你们一次能做多少个俯卧撑?
1 个
1  2  3  4  5  6  7  8  9  10 ... 14  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4590 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 70ms · UTC 09:55 · PVG 17:55 · LAX 02:55 · JFK 05:55
♥ Do have faith in what you're doing.