首页 > 系统 > 其他 >

Kafka消息系统监控

2014-04-28

1、监控目标1 当系统可能或处于亚健康状态时及时提醒,预防故障发生2 报警提示2、监控内容2 1 机器监控Kafka服务器指标1 CPU Load2 Disk IO3 Memory2 2 JVM监控主要监控JAVA的 GC time(垃圾回收时间),JAV

1、监控目标
1.当系统可能或处于亚健康状态时及时提醒,预防故障发生
2.报警提示
2、监控内容
2.1 机器监控

Kafka服务器指标

1.CPU Load
2.Disk IO
3.Memory
2.2 JVM监控

主要监控JAVA的 GC time(垃圾回收时间),JAVA的垃圾回收机制对性能的影响比较明显

2.3 Kafka系统监控

1、Kafka总体监控

•zookeeper上/kafka08/broker/ids目录下节点数量
•leader 选举频率
2、Kafka Broker监控

•Broker是否存活
•Broker是否提供服务
•数据流量 流入速度,流出速度 (message / byte)
•ISR 收缩频率
3、Kafka Controller监控

•controller存活数目
4、Kafka Producer监控

•producer队列中排队请求数
•请求响应时间
•QPS/分钟
5、Kafka Consumer监控

•consumer队列中排队请求数
•请求响应时间
•最近一分钟平均每秒请求数
6、Topic监控

•数据量大小;
•offset
•数据流量 流入速度,流出速度 (message / byte)
由于流入数据速度(byte)决定了数据量大小,流入message速度决定offset,所以监控流入速度,流入message,流入速度就足够了。

3.监控指标

3.1 JVM监控
通过JMX获取GC time

3.2 kafka系统监控

监控数据获取方式

1、生存节点信息可以从zookeeper获取

2、除 生存节点 和 a、Broker是否提供服务,b、Topic数据量大小,c、Topic的offset 外,其他数据都可以通过JMX获取

相关文章
最新文章
热点推荐