想请一位 K8S 和虚拟机专家来帮帮我, 虚拟机 GPU 容器的问题

This topic created in 1272 days ago, the information mentioned may be changed or developed.

几个要素: WSL, PVE, RKE2, Ubuntu Server, Rancher, CUDA, OpenCL,
想用 Rancher 管理 RKE2 集群, 包括这么几个 nodes/workloads
1. PVE(PCI 直通 HD8570)+Ubuntu/RKE2+MESA/视频推流
2. PVE(PCI 直通 Tesla P4)+Ubuntu/RKE2+CUDA
3. PVE(PCI 直通 Tesla P40)+Ubuntu/RKE2+CUDA
4. PVE(PCI 直通 Tesla K20)+Ubuntu/RKE2+CUDA
5. WSL(Win 驱动 HD6770/Tesla M40)+Ubuntu/RKE2+OpenCL/CUDA
6. WSL(Win 驱动 HD7770/Tesla K20)+Ubuntu/RKE2+OpenCL/CUDA
7. WSL(RTX 2070 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
8. WSL(RTX 3060 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
9. WSL(RTX 3090 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
10. PVE(GTX 1080 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
研究了一下感觉似乎是可以的. 感觉自己心力憔悴, 想请一位牛人出出主意.
出咨询费, 有信心的牛人不用客气, 主要是要解决问题, 具体价格好说.
有想讨论技术的, 直接跟帖也好.

rke2

Ubuntu

CUDA

OpenCL

11 replies • 2022-12-15 01:40:42 +08:00

ALXG

Nov 22, 2022

我是垃圾佬, 不知不觉就捡了这么多垃圾, 实在是想用起来.

tftk

Nov 22, 2022

请问怎么联系

ALXG

Nov 22, 2022

@tftk d2VjaGF0OiBhbGV4LWdlb21ldHJ5

defunct9

Nov 23, 2022

比较麻烦。把各个显卡通过 kvm 放进虚机，然后虚机再搭 docker ，上 k8s 比较好。不喜欢 rancher ，装一大堆乱七八糟的东西

ALXG

Nov 23, 2022

@defunct9 如果 runtime 是 docker 的话, RKE 似乎也可以, 主要是我命令行苦手, 解决苦难还行, 日常使用就会特别难受.

defunct9

Nov 23, 2022

反之，看见 dashboard 就烦，手撸 k8s 各种 yaml

ALXG

Nov 24, 2022

@defunct9 我是记性不太好, 要是没有明显的形状就记不住

senhtry

Dec 2, 2022

PVE 可以 passthrough 显卡到虚拟机里面，然后装 nvidia-container-runtime ，然后 rke （ k8s ）用 nvidia 的 device-plugin 来使用 gpu 容器。
PVE 因为是 pci 完全 passthrough 的，驱动这些应该和宿主机的用法差不多，没啥不同。
WSL 应该有点问题，WSL 里面用的是 nv windows 的驱动，在上面使用 ubuntu 的方式来装 nvidia-container-runtime ，应该是有点问题的，不知道能不能直接使用。

ALXG

Dec 7, 2022

@senhtry 我看 nv 的文档说 WSL 是可以直接用的 https://docs.nvidia.com/cuda/wsl-user-guide/index.html

senhtry

Dec 12, 2022

@ALXG #9 可以看下，我这边没有问题了。如果能在 wsl2 上装 k8s ，那应该问题不大。

ALXG

Dec 15, 2022

@senhtry K8S 能装, 这个已经证实了