clickhouse 有 200 多亿数据， 80 个字段，如何快速检索？

This topic created in 1491 days ago, the information mentioned may be changed or developed.

clickhouse 有 200 多亿数据，80 个字段，查询的场景是要在界面上展示明细数据，并且根据任一列进行检索。

想问下 clickhouse 在这种场景怎么设计比较好？我了解在 order by(a,b,c,d,...)这种，只有 where a=xxx 的时候查询比较快 b=xxx 或者 c=xxx 感觉是全表扫描，非常慢。

clickhouse

XXX

检索

oltp

4 replies • 2022-04-25 09:50:03 +08:00

documentzhangx66

Apr 25, 2022

这种城市电信级的数据量，如果可以提前预处理，可以配几台洋垃圾集群，大概一两万一台的预算，用分布式算法，前一天晚上把第二天需要展示的数据，提前算好。第二天直接从集群以顺序读的方式展示数据，这样成本低一些。

但如果是要现场实时查询数据，可以考虑各大厂去年新出的全 nvme m.2 服务器，2U 顶配大概 200 多 W 一台，网口没记错的话应该是 100G 的，用这种服务器，虽然无法保证能秒级查询，但在可以忍耐的时间范围内，应该能出结果。

F281M6Dh8DXpD1g2

Apr 25, 2022 via iPhone

不做统计你用 ck 干啥
es 堆机器完事

dtgxx

Apr 25, 2022 via Android

@documentzhangx66 这有点昂贵了哈哈

@liprais 也需要统计，但是也要明细，不知道能不能用 clickhoise 实现

devinww

Apr 25, 2022

clickhouse 配合 es ，一个做分析，一个做搜索