最近要将 S3 的日志数据导出到自建 clickhouse ，日志都是统一格式，但是数据量很大。尝试使用 goroutine 并发读写，但是发现在请求数过多时，aws s3 client 会报 read: connection reset by peer 的异常，导致并发数上不去，光是一天的日志就要请求将近几十分钟，想知道有什么实现好办法？
This topic created in 1163 days ago, the information mentioned may be changed or developed.
3 replies • 2023-03-18 17:06:16 +08:00
 |
1
Frankcox OP 还有就是考虑如何同步数据，可以用代码监控，不知道 lambda 表达式能不能支持。
|
 |
2
gtx990 Mar 18, 2023 via Android
replicate 到多个 bucket ，每个路径单独算 throttle 。
或者你这样，直接用 redshift (spectrum)，直接 query s3 ，或者 load 到 redshift managed 的 s3 ，性能完全不比 clickhouse 差。 |
Select Language