thevita's recent timeline updates
thevita

thevita

V2EX member #163112, joined on 2016-03-13 15:36:28 +08:00
Today's activity rank 4292
thevita's recent replies
欢迎来到 AI Native 的时代
那就去找 agent 产品啊, 哪没有?比如 manus 就提供 API access,虽然...
Apr 21
Replied to a topic by mingtdlb Local LLM 多台 GPU 之间怎么组网互联?
单台机内 nvlink
跨机器 RDMA 呗

网络并不是对等的, nvlink 带宽和延迟肯定都要好于网络, 所以尽量把 all-to-all 的通信放单个 node 内(比如 TP )
跨 node 通信也需要深度的优化,通过各种 pipeline overlapped 来隐藏延迟

不是搞这个的,仅仅是个人粗浅的理解
aliyun 和 github 类似的, Sign in 和 Two-Factor 使用什么都是可以单独设置的,以及可以设置什么时候需要 2FA ,检查下你的安全设置先
1. tool 这种东西单纯的多没意义,追求的应该是"可组合性",即工具间能相互争强,扩展使用场景(既然你多个搜索的目的是整合多信源,那你其实需要的是一个高置信度的信源, 用现有的 10+个网页搜索做一个 subagent 也好,还是干脆花钱买个商业的都行啊, 这种由明确目标的问题最好还是寻找一个直接的解决方案,而不是一股脑扔给 LLM )

2. 对于 LLM 来说,现在以及在短暂可预见的未来,Context 都是关键最资源,如果 Context 里长期存在一大堆绝大多数时间都用不上的信息,肯定不是最优解,不只是成本问题,长上下文时,注意力稀释问题 对模型表现影响很大
看题主没提到要合规,那就把你的数据整理包装装成 dataset/benchmark ,放 huggingface 上,然后去社区发水文说这些模型怎么啦得不行
我感觉真正的挑战就是学习,大家都意识到了,过去那种反复练习、专研细节的学习方法没必要了,只需要有思路、懂原理,但事实的挑战是面对复杂问题时:“有思路、懂原理“其实就是深入学习和经验的副产物,AI 时代也许需要思考如何快速建立知识,以及什么是知识
Feb 10
Replied to a topic by ljiaming19 程序员 零信任 vpn 是智商税吗
国内 零信任 基于 VPN ,和传统 vpn 的差异:
传统的 vpn: 基于用户角色进行授权,会给你分配到一个确定的段,该段具有明确的、静态的 ACL ,你们这个组能访问的 内容都是确定的
零信任: 每个用户基于访问规则,明确获得能访问资源的列表,controller 基于这些规则转发流量

其实只是基于 零信任理念的 边界接入解决方案,至于为什么要是这种形态,当然是因为好落地啊,用户什么都不用知道,当作 vpn 用就行了,,也就你们 IT/Sec 能体验到差异
真正把 remote dev 做得好的其实就是 vscode ,现在基于 vscode 的 ai ide 都能用啊
至于上面确实有自己 ssh 到 remote 上转 ide 开发的,也有 codex/CC 啊,为啥就不能用了
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3275 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 512ms · UTC 12:30 · PVG 20:30 · LAX 05:30 · JFK 08:30
♥ Do have faith in what you're doing.