刚开始接触 HDFS, 想问下如何把 HDFS 当成网盘使用?

This topic created in 2926 days ago, the information mentioned may be changed or developed.

当前跟小伙伴一起用的解决方案是 minio, 但是在遇到需要批量读取数据的时候 minio 单点跟不上了.
而且让 Spark 来读写会非常的绕.

后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.

Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?

我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...

Supplement 1 · May 20, 2018

可能没表达清楚需求.

除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:

1. 在 WebUI 上面能手动的上传\下载一个文件
2. 类似各种常见的云存储方案那样, 区分不同的 bucket
3. 最好还能有简单的搜索功能

有以上功能, 就可以满足我们绝大部分使用需求了

6 replies • 2018-05-20 21:39:39 +08:00