• 请不要在回答技术问题时复制粘贴 AI 生成的内容
deweixu
V2EX  ›  程序员

请教一下大神们,日志是怎么处理的?

  •  
  •   deweixu ·
    deweixu · Dec 8, 2017 · 3669 views
    This topic created in 3090 days ago, the information mentioned may be changed or developed.

    我们之前对日志的处理是,每天会有一个定时任务处理头一天的日志,会选择一个关键的日志入库,然后可以下载,导出成 excel 之类的,但是随着日志数据量的巨增,发现入库不是一个好的选择,大神们是怎么弄的呢?

    8 replies    2017-12-09 09:23:28 +08:00
    duskx
        1
    duskx  
       Dec 8, 2017 via iPhone
    ELK
    cls1991
        2
    cls1991  
       Dec 8, 2017
    elk
    deweixu
        3
    deweixu  
    OP
       Dec 8, 2017
    @957204459 Elasticsearch 是不是还要把从 logstash 得到的数据存储起来?
    zzen
        4
    zzen  
       Dec 8, 2017
    @deweixu
    logstash 收集 log,发送到 elasticsearch 存储,然后通过 kibana 处理展示,
    roricon
        5
    roricon  
       Dec 8, 2017
    在 logstash parse log file 的时候加 filter 可以过滤掉你不关心的 log entries
    iugo
        6
    iugo  
       Dec 8, 2017
    之前想过用 Kafka + 自定义处理, 但前一段将日志移入某云. 然后只针对严重的错误进行提醒.
    qqmishi
        7
    qqmishi  
       Dec 9, 2017
    或者试试 loggly 这种日志服务
    MoliOOO
        8
    MoliOOO  
       Dec 9, 2017
    试试 Graylog
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   956 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 20:10 · PVG 04:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.