优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?
  e8Vk3bXIRRmD 2023年11月02日 43 0

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志采集

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_02

日志记录了软件系统的生命线,为我们提供了故障排查和性能优化的关键线索。

本期EasyOps产品使用最佳实践,我们将为您揭晓:

  • 如何监控日志的关键字?
  • 如何基于关键字告警?

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志采集_03

日 志 关 键 字 监 控

日志作为软件系统运行时记录,记录了软件运行生命周期的事件,因此日志监控在监控实践中属于非常关键的一项。

在日志监控中,我们可能会有这样的需求:

  • 针对某个特殊的关键字做监控,关注关键字出现的次数,希望知道在什么时刻,关注的关键字是多少。如下图所示:

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_04

  • 当在周期内出现关键字的次数大于多少次时,希望引起重视,比如下面的告警告诉我1888@ not found这个关键字在一个采集周期内,已经出现了52次。

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_软件系统_05

结合以上信息,很可能代表软件系统的功能发生了故障。

那么该怎么满足上述的监控效果?下面的文档,演示了如何基于平台,实现对关键字的采集和监控,并且基于关键字出现的次数进行告警。

配 置 说 明

1.新建日志采集任务

选择右上角的新建日志采集并提取关键字加工为指标,注意,这里分为两种类型的指标:

  • 关键字加工指标:可通过从日志数据提取关键字,并加工为指标对系统进行实时监控,提升系统健康的感知能力。
  • 通用指标:通用指标包含各种由日志内容分割出来的指标。

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_软件系统_06

选择监控的资源对象

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_07

选择日志标记

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_08

点击下一步后,选择要监控的关键字

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志采集_09

此处会新建一个指标:keepalive_timeout_count。

注意:

  • 这个指标会从日志内容中,匹配包含err:keepalive timeout的关键字,如果匹配,则指标数加1。
  • 日志汇聚频率是15s采集一次,也就是说,如果配置出现次数的阈值是10,那么,在15秒内这个采集周期中,出现10次关键字后,即可触发告警。

最后点击保存。

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_10

稍等片刻后,即可看到指标的数据。也就是我们开头提到的图:

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志监控_11

2.配置告警规则

① 新增监控目标, 这个目标一般是主机,也可以关联具体的部署实例。具体根据上面的配置采集策略时关联的模型而定。在此处,则是一台主机:

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_软件系统_12

② 添加告警条件,这里针对新建的指标,在采集周期内出现超过10次即告警。具体次数可根据您的实际场景而定:

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_软件系统_13

③ 后续根据实际情况添加到告警通知组。

此时,当监控的日志出现关键字,超过10次后,即可触发告警通知。

优维产品最佳实践第4期:如何在海量日志中捞到你要的关键字?_日志采集_14

附上告警通知模板:

{% set color = "red" %}

{{time|ts2str:'%Y-%m-%d %H:%M'}} 产生告警事件</font></h2>

| 事件类型 | 日志监控 |

| --- | --- |

| 告警等级 | {{levelName}} |

| 告警资源 | {{t*****}} |

| 告警信息 | {{originContent}} |

| 运营负责人 |{{instance|jsonpath:'$.owner[*].name'|unique|join:','}} |

| 持续时长 | {{duration|duration_format:'zh'}} |

| 首次发生时间 | {{startTime|ts2str:'%Y-%m-%d %H:%M'}} |

| 事件详情 | [请点击](http://*****.*******.*****/next/events/{{eventId}}/detail) |

| 策略详情 | [请点击](http://*****.*******.*****/next/events/alert-rule/alert-rule/{{ruleId}}/edit) |

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

e8Vk3bXIRRmD