midraos's recent timeline updates
midraos
ONLINE

midraos

V2EX member #703654, joined on 2024-08-01 10:50:27 +08:00
Today's activity rank 643
midraos's recent replies
@diudiuu #9 直接用的 lm studio ,用的 Q6 量化,通过调整配置,将 MOE 层部署在 cpu ,通用层部署在显卡,这样做比使用低量化的效果好,比在 CPU 部署的速度快,上下文大小能达到 128k 以上,token 生成速度有 40t/s
不太准确,我在 amd 7950x + nvidia 5080 上部署的 qwen 3.6 35b a3b 模型,速度能达到 40t/s
@Poluk #2 我在 51 当天在 google play 从 plus 升级到 pro
auto 模式就这样,让你自己勾就不是 auto 了
Apr 28
Replied to a topic by zsj1029 Local LLM qwen3.6 27b 本地编码测试
@zsj1029 #11 应该没优化参数吧,我在 5080 上跑 35b-a3b 这个,显存只够加载一部分层,速度有 40t/s
@lyhiving #3 只用他的 99 一年的云服务器
@azraeljack #56 只用 claude code ,自建 vpn ,从来没用到过 5 小时限量。先入为主的让别人反思自己,就是拒绝接受自己不想看到的东西
@azraeljack #49 还真是有钱不赚,号已经被封了 3 个了,一个用了一年多,google play 订阅了半年 pro 的号被封,一个注册一周,订阅 pro 后立即封,一个注册两天没有使用过被封
@drbuglu #39 这样安全风险有点大了
还在探索,项目下放的文档太多会干扰上下文,出现 Agent 只是获取背景信息就把上下文窗口干没一半了
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3274 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 12:27 · PVG 20:27 · LAX 05:27 · JFK 08:27
♥ Do have faith in what you're doing.