This topic created in 912 days ago, the information mentioned may be changed or developed.
想请教一下各位大佬，比如说给一个很大区间范围的数据进行分区求和，先由 master 分给各个 worker ，由 worker 来计算后反馈给 master 进行汇总，我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点，谢谢。
 |
1
YsHaNg Nov 7, 2023
|
 |
2
ccde8259 Nov 7, 2023 via iPhone
为啥是 K8S 而不是 YARN+Spark
|
 |
3
dayeye2006199 Nov 8, 2023 via iPhone
你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事
复杂点可以用 spark ，简单点就 ray dask 这些并行处理框架 |
Select Language