Tag: kafka

  1. 一个简单的kafka consumer group的监控系统

    当kafka第一次在生产环境上线的时候我们需要对kafka的状态进行监控,如果公司已经有现成的监控报警系统的话事情就会非常简单,只需要将kafka的metrics收集到监控系统中并设置一些报警指标即可。但现实是不是每一家公司都有监控报警系统的,或者现有的监控报警系统由于某种原因暂时无法支持kafka的监控。此时如果安排专人定时去生产环境检查kafka的状态,如果有问题则立即报告给相关人员,这是非常大的成本,姑且不说是否有人,即时有人的时候也不一定就不会出错。程序员的特点之一即是将一切手工的体力活自动化起来,下面我们来介绍如果使用简单的shell脚本去监控kafka的consumer group的状态。 监控脚本 新建脚本如下,脚本命名为kafka-monitor.sh: #!/bin/bash # 修改此处指向正确的kafka home KAFKA_GROUP_COMMAND="/{kafka_home}/kafka-consumer-groups.sh --bootstrap-server kafka1:9092" # 获取kafka的consumer group KAFKA_GROUP_LIST=$($KAFKA_GROUP_COMMAND --list) # 将上面获取到的consumer group转换为数组 eval $(echo $KAFKA_GROUP_LIST | awk '{split(…

    on kafka 监控 monitor consumer group