V2EX › 15hop 的所有回复 › 第 2 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2017 年 12 月 26 日

回复了 15hop 创建的主题 › Hadoop › flume events 数 6000/s 正常吗

@15hop
自问自答一下。单台 flume + 5 台 kafka，producer 输入到的 topic 有 8 个 partitions：
ack = 1 的情况下，7w+ qps
ack = 0 的情况下，10w+ qps

之前只有 6000+ 的原因是，将 debug 信息输出到 console。每个 massage 写入 kafka 的回调都要输出 debug log。对性能影响极大。关闭后，性能直线上升。

2017 年 12 月 25 日

回复了 15hop 创建的主题 › Hadoop › flume events 数 6000/s 正常吗

上浮一下

2017 年 12 月 25 日

回复了 15hop 创建的主题 › Hadoop › flume events 数 6000/s 正常吗

@Lax
这是 sink 配置。有 3 台的 kafka。还有就是只为了测试，所以就搭了一台 flume。上面的数据都是一台 flume 的。
![]( https://ws3.sinaimg.cn/large/006tNc79gy1fmsy74p3hzj31bg0mm40v.jpg)

topic msg3 的 partition = 3, replications = 2
```
# Each sink's type must be defined
#agent.sinks.s1.type = null
agent.sinks.s1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.s1.kafka.bootstrap.servers = server1:9092,server2:9093,server3:9094
agent.sinks.s1.kafka.topic = msg3
agent.sinks.s1.kafka.flumeBatchSize = 500
agent.sinks.s1.kafka.producer.acks = 1
agent.sinks.s1.kafka.producer.linger.ms = 1
agent.sinks.s1.kafka.producer.compression.type = snappy
agent.sinks.s1.kafka.allowTopicOverride = false
```

2017 年 5 月 28 日

回复了 beyoung 创建的主题 › 程序员 › 让咱们聊聊程序员学习学英语这件事

@beyoung 借鉴下记单词的方法掩面

2017 年 5 月 28 日

回复了 beyoung 创建的主题 › 程序员 › 让咱们聊聊程序员学习学英语这件事

ls 真高产

2017 年 5 月 16 日

回复了 15hop 创建的主题 › MacBook › 你们的 chrome for mac 有这个问题吗？

@xinhangliu
@wjm2038
智商捉急了。我把 cvim 卸了，却没卸 mouseGuesture
现在能用了

2016 年 10 月 3 日

回复了 15hop 创建的主题 › 问与答 › 关于 android 虚拟机抓包

@linhua 可以用 7z 直接解压打开（不提取） Root.vdi ，但是把 tcpdump 文件放进去的时候显示 “尚未实现”。似乎是权限不足。这个要怎么解决呢