k8s grafana9.3.6 监控 springboot 邮件通知
k8s grafana9.3.6 监控 springboot 邮件通知
大纲
- 1 基础准备
- 2 grafana 配置
- 3 grafana 邮件配置
- 4 grafana 联系点配置
- 5 grafana 通知策略配置
- 6 grafana 报警规则配置
- 7 测试报警通知
书接上回 《k8s部署promentheus 使用 grafana监控springboot》
上一文中最后已经使用 jmx_prometheus_javaagent实现对springboot项目的jvm监控
并且在grafana中已经可以看到CPU使用率的图表
关于prometheus监控springboot项目还可以参考文章 《prometheus监控springboot项目 使用grafana展示》
基础准备
- grafana9.6.3
- prometheus2.34.0
- springboot镜像
grafana 配置
本次测试使用的grafana版本为grafana9.3.6
grafana 报警通知流程如下
1报警规则 -> (基于标签匹配) -> 2通知策略 -> 3联系点 (联系点可以是邮件 钉钉等)
grafana 邮件配置
修改 %GRAFANA_HOME%/conf/defaults.ini 配置文件
找到[smtp]选项 添加如下配置
[smtp]
enabled = true
host = smtp.mxhichina.com:587 #邮件服务器地址 这里使用的阿里云
user = chandao@medcrab.com #账号
# 如果密码包含 # 或 ; 需要加三重"号. 例如 """#password;"""
password = xxxxxxx #密码
cert_file =
key_file =
skip_verify = false
from_address = chandao@medcrab.com
from_name = Grafana-liuyijiang
ehlo_identity =
startTLS_policy =
重启grafana 邮件配置完成
grafana 联系点配置
grafana 联系点就是通知发送的方式 可以是邮件，可以是钉钉 等等
创建联系点
测试邮件是否正常发送
打开邮箱可以看到已经收到测试邮件了
到此 grafana 联系点配置完成
grafana 通知策略配置
grafana 通知策略主要是配置label 和选择联系点
新建策略
到此 grafana 通知策略配置完成
grafana 报警规则配置
新建一个报警规则
使用jmx_prometheus_javaagent-0.17.2.jar 中的 java_lang_OperatingSystem_ProcessCpuLoad 指标
java_lang_OperatingSystem_ProcessCpuLoad 这个指标监控cpu使用率，当cpu使用率100%的时候此指标值为1
Step1 配置查询报警规则
可以看到有 A B C这些框
对应
A查询出数据->(数据输入到下一个B)-> B计算数据 -> (数据输入到下一个C) -> C定义规则
这里配置查询java_lang_OperatingSystem_ProcessCpuLoad指标 如果指标平均值大于0.3就报警
Step2 配置报警行为评估
这一步就是配置当Step1中规则出现多久，持续多久就触发报警通知
这里配置的30s 进入Pending 。 for配置的时间表示报警状态为 Pending 后等待 1m（1分钟） 变成 Firing 状态，一旦变成 Firing 状态则将报警发送到 AlertManager处理邮件发送
Step3 配置报警详细信息
这一步可以配置报警的名称 ，分组还可以配置一些描述信息，这些描述信息会作为邮件内容发送出去
Step4 配置通知策略
这一步使用刚才创建的通知策略label
到此报警规则配置完成
测试报警通知
调用接口 让cpu使用率上升
进入pending状态
进入Firing状态
收到邮件
