V2EX › yjhatfdu2 的所有回复 › 第 7 页 / 共 8 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8

❮

❯

2022 年 8 月 23 日

回复了 changdy 创建的主题 › 程序员 › 业务系统是否真的需要 Elasticsearch?

@FYFX ES 数据量大了存储开销上升很快，单节点单 index 过亿性能很低，相比较而言 clickhouse 虽然是关系型数据库，但是超大数据量性能要高很多

2022 年 8 月 23 日

回复了 changdy 创建的主题 › 程序员 › 业务系统是否真的需要 Elasticsearch?

@shuimugan 这种情况 pg 下可以用 gin 把所有字段做联合索引，这样可以任意组合等值查询

2022 年 8 月 10 日

回复了 sunmoon1983 创建的主题 › MySQL › 求一个数据表设计的思路！

见文档 http://www.postgres.cn/docs/12/datatype-json.html#JSON-INDEXING ，是时候换掉落后的 mysql 了

2022 年 8 月 10 日

回复了 sunmoon1983 创建的主题 › MySQL › 求一个数据表设计的思路！

使用 postgresql ，直接 where city@>'["123456"]'::jsonb and county @>'["23456","34567"]'::jsonb 还可以索引,基本上是最好的方案了

2022 年 8 月 10 日

回复了 vverr 创建的主题 › 问与答 › 数据库选型问题请教各位大佬，大佬们帮帮忙！

@dtgxx 每个属性都可以加 skipindex

2022 年 8 月 9 日

回复了 vverr 创建的主题 › 问与答 › 数据库选型问题请教各位大佬，大佬们帮帮忙！

clickhouse,模糊匹配用 ngrambf_v1 索引, 性能和灵活性比 es 高太多了。https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree#available-types-of-indices

2022 年 8 月 8 日

回复了 chaleaochexist 创建的主题 › 数据库 › 数据库事务原子性和隔离性的疑问

建议把 pg 的隔离等级文档看一下，就比较清楚了 http://www.postgres.cn/docs/12/transaction-iso.html

2022 年 8 月 8 日

回复了 chaleaochexist 创建的主题 › 数据库 › 数据库事务原子性和隔离性的疑问

@chaleaochexist pg 下，序列化隔离等级，也不会锁表，依然是读写无冲突，但是会带来额外开销，降低性能。其他常用数据库不支持序列化隔离等级

2022 年 8 月 8 日

回复了 yujianwjj 创建的主题 › Kubernetes › 求 kubernetes 的轻量级替代品

用 k3s 吧，单二进制文件一行命令直接启动，而且是真的 k8s

2022 年 8 月 8 日

回复了 makeitwork 创建的主题 › 数据库 › 没想到 clickhouse 这么牛逼，比 es 强太多了，搞 quant 适合吗

@zhygkx ch 使用 ngram bloomfilter 做 skip index ，也可以一定程度满足全文索引的需求，效果也是很不错的

2022 年 8 月 8 日

回复了 chaleaochexist 创建的主题 › 数据库 › 数据库事务原子性和隔离性的疑问

如果用的是 truncate ，那么有可能读到空表，因为 truncate 一般不支持事务。
如果使用的是 read uncommitted （ mysql 下是这样，pg 下不会），也可能是读到空表
其他情况不应该读到空表

2021 年 1 月 18 日

回复了 douyacun 创建的主题 › Go 编程语言 › golang 如何远程调试代码？

go get 用 GOPROXY 不行嘛

2020 年 8 月 4 日

回复了 lolizeppelin 创建的主题 › Python › 被各种关系数据库的 json 操作坑死了

试试 ponyorm

2020 年 7 月 22 日

回复了 yuan434356430 创建的主题 › 程序员 › 求问各位 V 友 PG 库的批量插入问题

pg 支持原生的 upsert，insert into tbl values(xx,xx) on conflict(some_unique_key) do update set xxx=exclude.xxx;

2020 年 5 月 29 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@rapperx2 qq 吧，base64:MjUxNjUwMjky

2020 年 5 月 29 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@rapperx2 渐变语句要加上 oder by(车牌,时间),我怀疑你这边是直接按照日期排序了，这样找一辆车的数据也要扫全表，然后数据类型建议也再看一下车牌最好用个足够小的 int 作为，再建一张表用来存车牌和 ID 的映射，查询时使用 join，这样能显著减少查询的数据量（ 2300w 行就 2.17GB 太大了），数据结构越高效性能越高

2020 年 5 月 29 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@rapperx2 不正常，方便看一下表定义和查询嘛？

2020 年 5 月 28 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@rapperx2 对了，时间戳精度要求不高的话，可以用不需要用 DateTime64，可以 DateTime （精确到秒），经度维度可以用 UInt32 CODEC(DoubleDelta),方向不需要的话可以不存，这样估计还能小一倍，也能快一些。

2020 年 5 月 28 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@cqdx02 当然可以，group by 就可以，看上面的 Q6，使用对应的函数对时间进行处理就行

2020 年 5 月 27 日

回复了 rapperx2 创建的主题 › 问与答 › 求友们帮助，每天亿级数据怎么储存

@rapperx2 我还真造了点数据来测试一下 clickhouse 。
表结构：
create table ts_test
(
ts DateTime64 CODEC(DoubleDelta),
car_id Int32,
lat Float32 CODEC(Gorilla),
log Float32 CODEC(Gorilla),
dir Float32 CODEC(Gorilla)
) engine MergeTree() order by (car_id, ts) partition by toDate(ts);
其中，方向 dir 平均 100s 随机刷新，速度 0-100 之间随机，ts 的间隔 1s±100ms 并加入随机抖动，20000 辆车，每辆车起始位置随机，然后模拟每辆车运动，生成 csv 数据导入 clickhouse 。共使用了 20 分钟导入了 983725233(9.8 亿)行数据，占用硬盘空间 9.45 GiB，大概每 1 亿行 1G 。
然后测试了一些简单的查询。
Q1: 查询某个车的完整轨迹: select * from ts_test where car_id=1;
行数和耗时：49187 rows in set. Elapsed: 0.041 sec.
Q2: 查询表总行数: select count(*) from ts_test;
行数和耗时：1 rows in set. Elapsed: 0.001 sec. （估计缓存了）
Q3: 查询每辆车的数据点数量: select car_id,count(*) from ts_test group by car_id;
行数和耗时：20000 rows in set. Elapsed: 0.129 sec.
Q4: 查询每辆车的活动范围（矩形）:select car_id,min(lat),max(lat),min(log),max(log) from ts_test group by car_id;
行数和耗时：20000 rows in set. Elapsed: 0.568 sec.
Q5: 查询一辆车的活动范围（矩形）:select min(lat),max(lat),min(log),max(log) from ts_test where car_id=100;
行数和耗时：1 rows in set. Elapsed: 0.003 sec.
Q6: 查询每小时的数据点（每小时约 7200w ）数量: select count(*),toYYYYMMDD(ts)+toHour(ts) as hour from ts_test group by hour;
行数和耗时：14 rows in set. Elapsed: 0.347 sec.

测试硬件：单机 AMD EPYC 7702P 64-Core Processor 64 核，256G 内存，SSD
希望对楼主有帮助

1 2 3 4 5 6 7 8

❮

❯