@sunnysab Local AI 來講中國的開放 LLM 的確不錯, 但私有商業 SOTA(只賣 API 那種)模型比還是比中國模型強

法環比隻狼容易多了, 起碼法環能刷等級輾壓, 隻狼則是過不了就沒辦法

不過以家用 Homelab 來說, OpenStack 還是太殺雞用牛刀, 用 Proxmox 就好

要 IAC 的應該會用 Openstack 而不是 Proxmox, 在 Terraform/Opentofu 直接調用 libvirt 太麻煩了

跟一家深圳的酒店分銷方案的東西合作過, 也真的奇芭, jar 是直接 ssh 部署的, 更神奇的是 dev 跟 staging 是各自一台獨立的 VPS, 不用 docker, 直接改 systemd, versioning control 就靠檔案名稱

由於它們用不了 github, 要用它們的自建 gitlab, 在中國境外 OpenVPN 進去它們的阿里雲 VPS, 不消一會就給牆掉......

更搞笑的是, 由於長年習慣用 VPS 單獨部署, 都是在 firewall 全開 ports 方便部便部署, 結果在 2024 年還是能搞出公網曝露 redis 然後被攻擊的事, 它們用的 VPS 不便宜, 都是高配的

但其實這些東西, 正常來說用 VPC + NAT Subnet 至少不會發生, 上 k8s 的話更能保證內網服務不會隨便曝露出去, 但它們就是為了方便部署甚麼都幹得出來

除了中國公司, 還沒看過有其他國家的仍然堅守全手動的公網 SSH 部署, 似乎是牆帶來的技術差距

其實都要背電池了, 電池用 24V 輸出, 降壓成 20V(電腦)及 12V(路由)效率好像會比較好, 電流 A 數會比較小, 但 12V 的確更通用

無論如何, 能成功執行這計劃已經很厲害了

@katsusan 不用, 我試過用 3090 + Llama.cpp 能直接跑 FP4 的 GGUF, 速度也不錯, 100tps

而 5090 可以滿血跑 context 128k, 160tps 以上

直通到單個 VM 應該沒問題，限制的是 vGPU 一類拆分單卡給租戶的功能

都是 k8s 能完成的東西, 唯一要 systemd 的只有 kubelet, k3s control-pane 的話可能還有 etcd/api-server, DHCP 方面是配 multus 就能完成的東西

pod 在 docker compose 上作用不明顯, 只是一堆共用 network 的 containers, 但 docker 本來是 OCI 的能被 k8s 調用成 pod 的樣子

而且 k8s 現在配合的 container engine 是 containerd, 至少這東西和 docker 有也有 nvidia container toolkit 等大廠 GPU 的支持

我仍然覺得直接學 k3s 比較有用

年輕人終究是年輕人, 太衝動了, 不知道牆有多高, 觸發阻斷的流量有多大.......

@owen800q 你 2023 年加入, 我 2015 年就來了, 你算個鳥要我去哪?

白痴的無端來討罵。

@owen800q 你有冇做過 k8s admin? 成個 project 冇咗你可以玩幾耐? 本來 k8s 就係 Google open source project, kubeSphere 加個套上去但限住你 maintain 你咪用囉

咪撚乜都政治上腦啦傻閪