• 请不要在回答技术问题时复制粘贴 AI 生成的内容
realfreesky
V2EX  ›  程序员

想自己搞一个日志分析系统,各位 v 友有什么好的建议不

  •  
  •   realfreesky · Mar 2, 2016 · 5626 views
    This topic created in 3752 days ago, the information mentioned may be changed or developed.
    18 replies    2016-03-08 17:05:30 +08:00
    xiamingchong
        1
    xiamingchong  
       Mar 2, 2016
    上 elk
    noahzh
        2
    noahzh  
       Mar 2, 2016
    上 elk
    lovelynn
        3
    lovelynn  
       Mar 2, 2016
    什么日志,中间件日志某 60 的星图还是不错的。
    dyingbleed
        4
    dyingbleed  
       Mar 2, 2016
    ElasticSearch + Logstash + Kibana
    knightdf
        5
    knightdf  
       Mar 2, 2016
    有 logstash 好吗?
    jy01264313
        6
    jy01264313  
       Mar 2, 2016
    推荐看一下 google dapper ,开源的有 twitter 的 zipkin
    yuankui
        7
    yuankui  
       Mar 2, 2016
    你想要怎么分析?
    chinajik
        8
    chinajik  
       Mar 2, 2016
    面板推荐 grafana 这个适合生产线各种需求
    HunterPan
        9
    HunterPan  
       Mar 2, 2016
    flume+kafka+storm,听说 es 也很不错
    lucifer4he
        10
    lucifer4he  
       Mar 2, 2016
    上 ELK + 1
    tonyVex
        11
    tonyVex  
       Mar 2, 2016
    flume+kafka+storm 这个常听说的。
    hantsy
        12
    hantsy  
       Mar 2, 2016
    现在这种东西好多, LogEntries 等
    hantsy
        13
    hantsy  
       Mar 2, 2016
    1. 收集有效的 LOG
    2. 可视化分析结果
    mofeiwo
        14
    mofeiwo  
       Mar 2, 2016
    如果量不大的话,可以 splunk
    hienchu
        15
    hienchu  
       Mar 2, 2016
    ELK Stack 在用,比较成熟了,日志格式不复杂的话开发成本很低(主要是正则)
    jings
        16
    jings  
       Mar 2, 2016
    正则 +1
    匹配+不匹配+时间+支持并行查询
    日志存储 日志压缩 日志备份这些也要考虑吧
    crayhuang
        17
    crayhuang  
       Mar 2, 2016
    @dyingbleed 一样 ElasticSearch + Logstash + Kibana + 1
    gushan
        18
    gushan  
       Mar 8, 2016
    可以考虑下阿里云日志服务。
    1 )提供了简单接入客户端( https://yq.aliyun.com/articles/3228?spm=5176.team4.teamshow1.37.faH93Z
    2 )日志收集到服务端后提供多种消费方式:数据通道(类 Kafka )/数据投递( ODPS 、 OSS-组合 E-MapReduce Spark )/实时搜索( https://help.aliyun.com/document_detail/sls/user-guide/overview.html
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3108 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 70ms · UTC 14:40 · PVG 22:40 · LAX 07:40 · JFK 10:40
    ♥ Do have faith in what you're doing.