V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  yjhatfdu2  ›  全部回复第 8 页 / 共 8 页
回复总数  147
1  2  3  4  5  6  7  8  
2020 年 5 月 27 日
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
顺便,现在如果是少量数据的 update,clickhouse 可以使用 mutations 完美完成,如果量大的话,可以用 collaspemergetree 引擎,变相实现标记删除并且不影响查询结果
2020 年 5 月 27 日
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@yjhatfdu2 比 hive 或者 HBase+mr/spark 之类的的方案大概也就快几百倍把
2020 年 5 月 27 日
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
这个场景,clickhouse 使用 mergetree 引擎,根据日期做分区,车辆 ID,timestamp 排序,clickhouse 对于 float 类型时序数据也有类似时序数据库的 Gorilla codec,有效压缩时序浮点数据。clickhouse 本身的话,支持分布式、高可用,支持 SQL (部分),可以用 http 接口直接访问,使用难度很低。性能的话,我们做过一些测试,单节点 64 核 epyc2+256G 内存,单表 15 亿行 20 多列的纽约出租车数据,单个全表级的 group by+sum 大概 200ms 左右,多个维度的 group by+多个聚合能在 700ms 内完成,基本上是现在分析库的上限了。https://clickhouse.tech/docs/en/getting-started/example-datasets/nyc-taxi/
2020 年 5 月 13 日
回复了 zhyd1997 创建的主题 上海 进退维谷
老哥,你为啥就要纠结一定要走程序员这条路呢?现在程序员竞争这么激烈,本身又是技术型工种,对于硬的技术要求比较高,为啥不先找一些不那么要求具体技术的工作先做起来?把手头的问题先解决了,再去追梦?你现在这样的状态,并没有让你更容易往前端的路上走,反而让你陷入焦虑与自我怀疑,最后生活都生活不下去。
2020 年 1 月 15 日
回复了 AmoxiDu 创建的主题 程序员 SQL Server 单字段多值模糊查询
当然如果是 pg 的话可以更简单这样写,select a from t where a like any(array['%a%','%b%','%e%']); sqlserver 就不知道了
2020 年 1 月 15 日
回复了 AmoxiDu 创建的主题 程序员 SQL Server 单字段多值模糊查询
应该可以 select t.a,t2.p from t,(values('%a%'),('%b%'),('%c%')) as t2(p) where t.a like t2.p;
中间 values 表达式可以任意多个,pg、sqlserver 支持类似写法,oracle 和 mysql 不支持
2020 年 1 月 13 日
回复了 pmispig 创建的主题 Go 编程语言 请问怎么解析用户输入表达式
1  2  3  4  5  6  7  8  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3608 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 04:53 · PVG 12:53 · LAX 21:53 · JFK 00:53
♥ Do have faith in what you're doing.