xjdata
V2EX  ›  服务器

请问那位朋友接触过组建 200T+的存储呢?请多给些经验、建议。谢谢。

  •  
  •   xjdata · Apr 1, 2017 · 7903 views
    This topic created in 3333 days ago, the information mentioned may be changed or developed.

    有需要提供 200T+存储的需求。

    但是没接触过, 搜了半天, 大概了解了 磁盘阵列。 但是 hp dell 等价格特别贵。 然后看到了一个淘宝上的,但是北京的某个商家。

    个人感觉,具体实现肯定不像 服务器组个 raid5 那么简单。

    但是又担心有坑。 所以来请教大家, 请多给些经验、建议。谢谢。

    我的场景。

    大概 5 年为一个期限,宽松预估需要 200T 的存储能力, 需要备份。(最好热备,不行就隔天也可以)

    200T 中基本上 95%的数据 第一次写入后 就不会再有访问的需求了, 但是有 5% 是完全随机的。 所以整个存储偏向冷数据备份。

    数据基本上都是每晚 12 点开始。 第二天早晨结束。

    存储的内容 目前预估为 json , word ,图片, 5 分钟左右的视频。几个类型的。以后有可能扩充,但这些预估为主要存储对象。

    还请大家多多分享,多多指导,谢谢。

    Supplement 1  ·  Apr 2, 2017
    感觉太复杂了。

    仔细看了看千万云, 感觉我的需求 他们的 归档存储 比较符合。

    实现成本相对来说也低了很多。

    就是不知道效果如何。。。
    19 replies    2017-06-11 23:42:15 +08:00
    Rustle
        1
    Rustle  
       Apr 1, 2017
    这种需求就别淘宝了。
    这个是存档的需求,分布式存储方向产品
    thinks
        2
    thinks  
       Apr 2, 2017 via Android
    400T 阵列柜管理员表示,这个涉及到的专业性质略高,还是建议请专业团队做。
    包括阵列的配置计划,硬盘生命周期计划,后续的 iSCSI 存储配置等一系列操作。
    thinks
        3
    thinks  
       Apr 2, 2017 via Android
    我的阵列柜是, 100T 是固态,常用数据放在在里面,做高速读写;100T 是 raid0 ,当二级缓存放热备数据,最后 200T 做数据沉积,存放一些一年都不动一下的记录数据。
    garyalen
        4
    garyalen  
       Apr 2, 2017 via Android
    磁带机 冷库
    ryd994
        5
    ryd994  
       Apr 2, 2017 via Android
    这个数量级不是单纯堆量的问题
    可能需要分布式文件系统

    你先把需求理请:
    可用性
    数据存活率
    要不要异地容灾
    热数据 /冷数据访问延迟
    是否可以预先请求(很多冷备份系统是要提前几小时请求的)
    怎么索引
    数据生命周期
    设备生命周期

    我也不是专业的,但是这些基本上任何储存系统都应该有所考虑
    jingniao
        6
    jingniao  
       Apr 2, 2017
    200T 不大,但是你需要考虑的问题很多
    存储接口?
    平时用 ceph 比较多,感觉这个用对象存储(s3/swift)比较合适,不过需要开发对接,并且对 ceph 运维也有一定要求,建议找 ceph 服务厂商。
    架构还需要专业人员
    还有热数据可以用 cache 层,效果先不说
    ceph 本身有副本跟纠删码的冗余机制,真正麻烦的是你要的备份功能, ceph 的对象存储多区域社区方案稳定性如何还是未知,倒是有几家专业点的有能力自己魔改代码然后上生产。
    jingniao
        7
    jingniao  
       Apr 2, 2017
    不过算下来 ceph 跟专业的传统存储还有多少价格优势我就不清楚了。不太了解传统存储的价格, ceph 的报价倒是了解一点……
    zjqzxc
        8
    zjqzxc  
       Apr 2, 2017
    如果预算充足,可以考虑一下现有的商用解决方案,比如 dell( http://china.dell.com/p/enterprise-products.aspx?c=cn&l=zh&s=bsd&~ck=mn),联想( http://support.lenovo.com.cn/lenovo/wsi/es/es.html ),惠普(没找到服务器的链接);
    popil1987
        9
    popil1987  
       Apr 2, 2017
    ceph 或 glusterfs ,网络版的 raid
    机器自身存储可以用 lvm 挂多块硬盘
    xbb7766
        10
    xbb7766  
       Apr 2, 2017 via Android
    HP 3PAR
    EMC 也有(名字忘了)
    要省事建议还是用成熟方案。
    非要自己攒,可以参考 backblaze,这家备份商,他们是用了自己设计的机器,我记得他们网站上之前有介绍过自己的系统。
    littlewey
        11
    littlewey  
       Apr 2, 2017 via iPhone
    scaleIO
    xjdata
        12
    xjdata  
    OP
       Apr 2, 2017
    感谢大家的回复。

    @thinks 请问你们的是什么牌子的硬件? 不知道我这里有没有他们的技术支持, 有团队联系方式吗
    @jingniao 方便发一下报价吗? xjdata(AT)gmail.com
    jingniao
        13
    jingniao  
       Apr 2, 2017
    @xjdata 只是了解一点点,而且我司在我看来也不算很专业就不误导人了。
    honeycomb
        14
    honeycomb  
       Apr 2, 2017 via Android
    linus tech tips 做过一个数百 T 的存储阵列,中间经历过数据恢复,后来升级成了 1PB
    lydasia
        15
    lydasia  
       Apr 2, 2017 via iPhone
    现在 200TB 不算啥了吧,主要看你需求,可能并没有别人说得那么困难。原始容量 200T 的话也就 20 块 10TB 的硬盘。
    powergx
        16
    powergx  
       Apr 2, 2017 via iPhone
    40 块 10t 硬盘 全部 raid1 , 2 片 hba 卡加扩展卡。 solaris 装一个 热备盘设定好。启动
    geekzu
        17
    geekzu  
       Apr 4, 2017 via Android
    请搜索磁带库……
    mlyy
        18
    mlyy  
       Apr 7, 2017
    miclinux
        19
    miclinux  
       Jun 11, 2017
    先考虑下 200T 数据丢失是什么后果。

    然后就是:

    1、服务器两块 HBA 备份,分别连接盘柜,如果要求再高,就两台做 HA 丛集,配置视需求定。
    2、双电源,双主控的盘柜
    3、盘柜的阵列部分,分卷,每个卷 20-30 块硬盘配置一个 RAID6。不要用 RIAD5 因为 RAID5 有效检文件损坏的几率。
    4、硬盘,不要买 WD 的盘,有阴影,希捷的 SAS 盘。硬盘买容量最大的,目前是 12T,这样可以少插两块硬盘省点电费。

    这样算下来,除了硬盘是 RAID 6 以外,所有部件都是 2 倍冗余。

    未来扩充,只要插硬盘,添置盘柜就行了,1PB 以下的需求应该都没啥问题。

    UPS 是必须,若服务不能停的话要加发电机,发电机的功率要为 UPS 的 3 倍以上,具体参见 APC 的白皮书。

    SSD Cache 视需求添加。

    以上是标准的高可用存储服务器配置。大部分是 2 倍冗余,记得浪潮之前做了个 1.3 倍硬件做出 6 个 9 可用的机器,不知道是怎么设计的。。

    重要数据加密上云,死也不能丢的又不能上云的数据那就移动硬盘 /磁带存银行。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5582 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 83ms · UTC 01:23 · PVG 09:23 · LAX 18:23 · JFK 21:23
    ♥ Do have faith in what you're doing.