Zabbix对Kafka topic积压数据监控的问题(bug优化)

目录

简述分区自动发现获取监控项“test-group/test/分区X”的Lag最终优化后脚本接入Zabbix

1.Zabbix配置文件2.Zabbix自动发现3.监控项配置4.告警信息

简述

《Zabbix对Kafka topic积压数据监控》一文的目的是通过Zabbix自动发现实现对多个消费者组的Topic及Partition的Lag进行监控。因在实际监控中发现有问题，为给感兴趣的读者不留坑，特通过此文对监控进行优化调整。

分区自动发现

1. # 未优化前的计算方式：
2. # 自动发现配置文件
3. vim consumer-groups.conf
4. #按消费者组(Group)|Topic格式，写入自动发现配置文件
5. test-group|test
6. # 执行脚本自动发现指定消费者和topic的分区
7. bash consumer-groups.sh discovery
8. {
9.     “data”: [
10.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”0″ },
11.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”1″ },
12.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”3″ },
13.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”2″ }
14.     ]
15. }

复制代码 经过上线验证，当自动发现配置文件只有一个test-group|test是没有问题的，但当我们按需求再接入test-group|test1 （即test-group消费者组的第二个Topic）时，自动发现的结果如下：

1. # 未优化前的计算方式：
2. vim consumer-groups.conf
3. #按消费者组(Group)|Topic格式，写入自动发现配置文件
4. test-group|test
5. test-group|test1
7. # 执行脚本自动发现指定消费者和topic的分区
8. bash consumer-groups.sh discovery
9. {
10.     “data”: [
11.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”0″ },
12.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”1″ },
13.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”3″ },
14.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”2″ }
15.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test1″, “{#PARTITION}”:”0″ },
16.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test2″, “{#PARTITION}”:”1″ },
17.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test3″, “{#PARTITION}”:”2″ }
18.     ]
19. }

复制代码 了解Zabbix自动发现格式的同学会发现，每个Topic的Partition会出现’,’，这种格式是不符合规范，这就是导致我们的监控项会出现问题，因此我们需要进一步修改脚本。

经修改后，最终效果应该如下：

1. # 优化后的计算方式：
2. vim consumer-groups.conf
3. #按消费者组(Group)|Topic格式，写入自动发现配置文件
4. test-group|test
5. test-group|test1
7. # 执行脚本自动发现指定消费者和topic的分区
8. bash consumer-groups.sh discovery
9. {
10.     “data”: [
11.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”0″ },
12.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”1″ },
13.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”3″ },
14.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test”, “{#PARTITION}”:”2″ }，
15.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test1″, “{#PARTITION}”:”0″ },
16.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test1″, “{#PARTITION}”:”1″ },
17.         { “{#GROUP}”:”test-group”, “{#TOPICP}”:”test1″, “{#PARTITION}”:”2″ }
18.     ]
19. }

复制代码
获取监控项“test-group/test/分区X”的Lag

经过自动发现后的数据，我们可以进一步获取不同分区的lag

1. # 优化后的计算方式：
2. # test-group test分区0 lag
3. bash consumer-groups.sh lag test-group test 0
4. # test-group test分区1 lag
5. bash consumer-groups.sh lag test-group test 1
6. # test-group test1分区0 lag
7. bash consumer-groups.sh lag test-group test1 0

复制代码 通过命令可以看到，我们的参数通过消费者组、Topic、Partition来获取最终的lag值，如果不加消费者区分，那么无法区分不同消费者组和不同Topic相应的lag结果：

1. # 未优化前的计算方式：
2. # 获取分区0 lag
3. bash consumer-groups.sh lag 0
4. # 获取分区1 lag
5. bash consumer-groups.sh lag 1
6. # 获取分区2 lag
7. bash consumer-groups.sh lag 2
8. # 获取分区3 lag
9. bash consumer-groups.sh lag 3

复制代码
最终优化后脚本

1. # 自动发现配置文件
2. vim consumer-groups.conf
3. #按消费者组(Group)|Topic格式，写入自动发现配置文件
4. test-group|test
5. test-group|test1
7. # 自动发现、lag计算脚本
8. vim consumer-groups.sh
9. #!/bin/bash
10. ##comment: 根据消费者组监控topic lag，进行监控告警
11. #配置文件说明
12. #消费者组|Topic
13. #test-group|test
15. #获取topic 信息
16. cal_topic() {
17.     if [ $# -ne 2 ]; then
18.         echo “parameter num error, 读取topic信息失败”
19.         exit 1
20.     else
21.         /usr/local/kafka/bin/./kafka-consumer-groups.sh –bootstrap-server 192.168.3.55:9092 –describe –group $1 |grep -w $2|grep -v none
22.     fi
23. }
24. #topic+分区自动发现
25. topic_discovery() {
26.     printf “{\n”
27.     printf “\t”data”: [\n”
28.     m=0
29.     num=`cat /etc/zabbix/monitor_scripts/consumer-groups.conf|wc -l`
30.     for line in `cat /etc/zabbix/monitor_scripts/consumer-groups.conf`
31.     do  
32.         m=`expr $m + 1`
33.         group=`echo ${line} | awk -F’|’ ‘{print $1}’`
34.         topic=`echo ${line} | awk -F’|’ ‘{print $2}’`
35.         cal_topic $group $topic > /tmp/consumer-group-tmp
36.         count=`cat /tmp/consumer-group-tmp|wc -l`
37.         n=0
38.         while read line
39.         do
40.              n=`expr  $n + 1`
41.              #判断最后一行
42.              if [ $n -eq $count ] && [ $m -eq $num ]; then
43.                  topicp=`echo $line | awk ‘{print $1}’`
44.                  partition=`echo $line  | awk ‘{print $2}’`
45.                  printf “\t\t{ “{#GROUP}”:”${group}”, “{#TOPICP}”:”${topicp}”, “{#PARTITION}”:”${partition}” }\n”
46.              else
47.                  topicp=`echo $line | awk ‘{print $1}’`
48.                  partition=`echo $line  | awk ‘{print $2}’`
49.                  printf “\t\t{ “{#GROUP}”:”${group}”, “{#TOPICP}”:”${topicp}”, “{#PARTITION}”:”${partition}” },\n”
50.              fi
51.         done < /tmp/consumer-group-tmp
52.     done
53.     printf “\t]\n”
54.     printf “}\n”
55. }
57. if [ $1 == “discovery” ]; then
58.     topic_discovery
59. elif [ $1 == “lag” ];then
60.     cal_topic $2 $3 > /tmp/consumer-group
61.     cat /tmp/consumer-group |awk -v t=$3 -v p=$4 ‘{if($1==t && $2==p ){print $5}}’
62. else
63.     echo “Usage: /data/scripts/consumer-group.sh discovery | lag”
64. fi
66. # 手动运行
67. ## 自动发现
68. bash consumer-groups.sh discovery
69. ## test-group test分区0 lag
70. bash consumer-groups.sh lag test-group test 0

复制代码
接入Zabbix

1.Zabbix配置文件

1. vim userparameter_kafka.conf
2. UserParameter=topic_discovery,bash /data/scripts/consumer-groups.sh discovery
3. UserParameter=topic_log
4. [*],bash /data/scripts/consumer-groups.sh lag “$1” “$2” “$3”

复制代码
2.Zabbix自动发现

3.监控项配置

4.告警信息

1. 告警主机：Kafka_192.168.3.55
2. 主机IP：192.168.3.55
3. 主机组：Kafka
4. 告警时间：2022.03.21 00:23:10
5. 告警等级：Average
6. 告警信息：test-group/test/分区1:数据积压100
7. 告警项目：topic_lag[test-group,test,1]
8. 问题详情：
9. test-group/test/1: 62

复制代码 到此这篇关于Zabbix对Kafka topic积压数据监控的文章就介绍到这了,更多相关Zabbix积压数据监控内容请搜索软件技术网以前的文章或继续浏览下面的相关文章希望大家以后多多支持软件技术网！