jakeyfly
V2EX  ›  问与答

RQ kafka 都太大了,有没有轻量一点的管道啊

  •  
  •   jakeyfly · Nov 24, 2018 · 2894 views
    This topic created in 2747 days ago, the information mentioned may be changed or developed.

    就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?

    其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。

    8 replies    2018-11-25 20:04:57 +08:00
    feverzsj
        1
    feverzsj  
       Nov 24, 2018
    你建个表做消息队列不就好了
    fsneak
        2
    fsneak  
       Nov 24, 2018 via Android   ❤️ 1
    用 Redis 的 channel,够轻量吧
    ericls
        3
    ericls  
       Nov 24, 2018 via iPhone
    Elixir/Erlang 自带的消息?
    julyclyde
        4
    julyclyde  
       Nov 25, 2018
    抗拒“独立运行一个服务”
    试试 zeromq ?
    CodeCore
        5
    CodeCore  
       Nov 25, 2018 via iPhone
    NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
    CodeCore
        6
    CodeCore  
       Nov 25, 2018 via iPhone
    @CodeCore 都是 Go 写的,很轻量。。。性能屌。NATS 更屌。。。
    endoffight
        7
    endoffight  
       Nov 25, 2018 via Android
    beanstalk
    BingoXuan
        8
    BingoXuan  
       Nov 25, 2018
    zmq ?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3859 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 04:35 · PVG 12:35 · LAX 21:35 · JFK 00:35
    ♥ Do have faith in what you're doing.