建站
咨詢
售后
建站咨詢
新聞中心
需求
《Bug：Zabbix對Kafka topic積壓數(shù)據(jù)監(jiān)控》一文我們通過監(jiān)控lag來對Kafka某個分區(qū)topic的消費(fèi)情況進(jìn)行告警。通過告警我們發(fā)現(xiàn)，分區(qū)topic的消費(fèi)積壓情況告警非常頻繁，這無疑會引起開發(fā)、運(yùn)維的重點(diǎn)關(guān)注。經(jīng)過一系列的監(jiān)控、摸索、實(shí)踐、總結(jié)，我們逐步發(fā)現(xiàn)分區(qū)topic的消費(fèi)積壓和以下幾種情況有關(guān)：
創(chuàng)新互聯(lián)為客戶提供專業(yè)的成都做網(wǎng)站、網(wǎng)站建設(shè)、程序、域名、空間一條龍服務(wù)，提供基于WEB的系統(tǒng)開發(fā). 服務(wù)項目涵蓋了網(wǎng)頁設(shè)計、網(wǎng)站程序開發(fā)、WEB系統(tǒng)開發(fā)、微信二次開發(fā)、手機(jī)網(wǎng)站制作設(shè)計等網(wǎng)站方面業(yè)務(wù)。
- 消費(fèi)者組頻繁出現(xiàn)Rebalance，導(dǎo)致整個消費(fèi)者組下的topic都無法消費(fèi)；
- 消費(fèi)者性能問題，無法在超時時間內(nèi)完成消費(fèi)；
- topic分區(qū)數(shù)和消費(fèi)者數(shù)量不均衡，一個消費(fèi)者需要消費(fèi)多個分區(qū)topic，消費(fèi)緩慢；
- topic分區(qū)數(shù)量變化；
- 等等
從以上幾種情況分析，無論哪種都和消費(fèi)者組Rebalance有相關(guān)性，都是在經(jīng)過Rebalance后再重新消費(fèi)。因此我們還得從Rebalance的角度再出發(fā)。
Rebalance再出發(fā)
其中關(guān)于消費(fèi)者性能問題，這大多和客戶端的參數(shù)設(shè)置不恰當(dāng)相關(guān)，這是運(yùn)維比較難覺察導(dǎo)致。但是為了更全面的了解Kafka，我們運(yùn)維還是很有必要去輕了解下的。先從相關(guān)參數(shù)說起：
# 消費(fèi)者每次poll()最大消費(fèi)消息數(shù)量，默認(rèn)500條
max.poll.records
# 兩次poll()之間的最大間隔，默認(rèn)值為5分鐘
max.poll.interval.ms
- max.poll.interval.ms
這個參數(shù)定義了兩次poll()之間的最大間隔，「默認(rèn)值為5分鐘」。如果業(yè)務(wù)處理消息時間過長，則會導(dǎo)致兩次poll()的時間間隔大于超時時間，從而觸發(fā)Rebalance。因此我們應(yīng)該適當(dāng)調(diào)整每次poll()的數(shù)量，以保證在規(guī)定時間內(nèi)處理完消息，這就需要關(guān)注max.poll.records參數(shù)了。
- max.poll.records
這個參數(shù)定義了poll()方法最多可以返回多少條消息，「默認(rèn)值為500」。poll()的數(shù)量如何定義，需要根據(jù)業(yè)務(wù)處理邏輯來決定，例如數(shù)據(jù)要經(jīng)過多個數(shù)據(jù)源進(jìn)行處理，一旦某一數(shù)據(jù)源訪問超時，無疑都會降低消費(fèi)效率。比較友好的解決方案是，開發(fā)可以根據(jù)不同的情況實(shí)時調(diào)整相關(guān)參數(shù)，應(yīng)用側(cè)動態(tài)感知并進(jìn)行自動熱加載，達(dá)到快速調(diào)整消費(fèi)的效果。
- 消費(fèi)者組劃分
除了對Kafka參數(shù)的調(diào)整，我們還要根據(jù)業(yè)務(wù)處理邏輯對消費(fèi)者組進(jìn)行提前規(guī)劃，避免為了方便將業(yè)務(wù)相關(guān)的topic同時劃分到同一個大消費(fèi)者組，這樣一旦某個消費(fèi)者出現(xiàn)問題，將會導(dǎo)致整個消費(fèi)者組重新Rebalace。如果Rebalance時間過長，此時所有的topic無法消費(fèi)，那么實(shí)時業(yè)務(wù)將會受到很大的影響。因此我們要合理分配topic到不同的消費(fèi)者組。
監(jiān)控
經(jīng)過以上的探索分析，我們的首要任務(wù)應(yīng)該是監(jiān)控Kafka消費(fèi)者組是否處于Rebalance狀態(tài)，進(jìn)而確定：
分區(qū)消費(fèi)者是否發(fā)生切換，此時消費(fèi)者數(shù)量不變；
分區(qū)消費(fèi)者數(shù)量是否減少，出現(xiàn)一個消費(fèi)者同時消費(fèi)多個分區(qū)topic；
分區(qū)數(shù)量和消費(fèi)者是否為1:1關(guān)系，避免出現(xiàn)消費(fèi)者和分區(qū)數(shù)量不一致的情況；
1.監(jiān)控思路
在多消費(fèi)者組的情況下，我們不僅要監(jiān)控每個消費(fèi)者組的Rebalance的狀態(tài)，還要考慮到未來消費(fèi)者組的擴(kuò)展，因此我們希望可以通過配置文件的形式對消費(fèi)者進(jìn)行自動發(fā)現(xiàn)并添加監(jiān)控。在此我們?nèi)匀皇峭ㄟ^Zabbix自動發(fā)現(xiàn)，實(shí)現(xiàn)對每個消費(fèi)者組的Rebalance狀態(tài)進(jìn)行監(jiān)控告警。
2.消費(fèi)者組自動發(fā)現(xiàn)
由于此配置文件和Kafk topic監(jiān)控復(fù)用同一個文件，通過Zabbix可對特定消費(fèi)者組(Group)進(jìn)行去重識別并行自動發(fā)現(xiàn)。
# 自動發(fā)現(xiàn)
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫入自動發(fā)現(xiàn)配置文件
test-group|test
# 執(zhí)行腳本自動發(fā)現(xiàn)所有的消費(fèi)者分組
bash consumer-groups-rebalance.sh discovery
{
"data": [
{ "{#GROUP}":"test-group" }
]
}
3.獲取消費(fèi)者組Rebalance狀態(tài)
# 獲取rebalance狀態(tài)，0代表沒有rebalance，1代表處于rebalance
[root#~] bash consumer-groups-rebalance.sh status test-group
0
4.最終腳本
#!/bin/bash
#comment: 查詢消費(fèi)者組狀態(tài)，如果出現(xiàn)reabalance則進(jìn)行告警
#配置文件說明，和topic lag監(jiān)控共用一套配置文件
#消費(fèi)者組|Topic
#test-group|test
#加載環(huán)境變量
export JAVA_HOME=/usr/local/jdk1.8.0_261
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
#group自動發(fā)現(xiàn)
group_discovery() {
printf "{\n"
printf "\t\"data\": [\n"
m=0
num=`cat /etc/zabbix/monitor_scripts/consumer-groups.conf |awk -F'|' '{print $1}'|sort|uniq|wc -l`
for group in `cat /etc/zabbix/monitor_scripts/consumer-groups.conf|awk -F'|' '{print $1}'|sort|uniq`
do
m=`expr $m + 1`
#判斷最后一行
if [ $m -eq $num ]; then
printf "\t\t{ \"{#GROUP}\":\"${group}\" }\n"
else
printf "\t\t{ \"{#GROUP}\":\"${group}\" },\n"
fi
done
printf "\t]\n"
printf "}\n"
}
if [ $1 == "discovery" ]; then
group_discovery
elif [ $1 == "status" ];then
/usr/local/kafka/bin/./kafka-consumer-groups.sh --bootstrap-server 10.10.10.233:9092 --describe --group $2 > /tmp/$2 2>&1
cat /tmp/$2 |grep rebalanc |wc -l
else
echo "Usage: /etc/zabbix/monitor_scripts/consumer-group.sh discovery | lag"
fi
5.Zabbix自動發(fā)現(xiàn)
- 自動發(fā)現(xiàn)配置
- 監(jiān)控項原型 以消費(fèi)者組定義監(jiān)控項名稱，告警信息中的名稱能夠幫助我們快速定位配置。
- 觸發(fā)器配置 告警觸發(fā)時，能夠通過告警信息快速定位kafka 消費(fèi)者組故障。
- 告警信息
告警主機(jī)：Kafka_192.168.3.55
主機(jī)IP：192.168.3.55
主機(jī)組：Kafka
告警時間：2022.11.11 11:22:00
恢復(fù)時間：2022.11.11 11:23:02
告警等級：Warning
告警信息：消費(fèi)者組test-group:處于rebalance狀態(tài)
告警項目：group_status[test-group]
問題詳情：
blaze-route: 1
其他運(yùn)維問題簡單處理
# 1.手動消費(fèi)某topic積壓的消息
/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 10.10.10.233:9092 --topic test --group test-group
# 2.調(diào)整kafka某個topic的數(shù)據(jù)有效期，有效釋放磁盤空間
/usr/local/kafka/bin/kafka-topics.sh -zookeeper 10.10.10.233:9092 --topic test-group --alter --config retention.ms=79200000
# 3.調(diào)整kafka某個topic的分區(qū)數(shù)量
/usr/local/kafka/bin/kafka-topics.sh -zookeeper 10.10.10.233:9092 --topic test-group --alter --partitions 4
以上是在使用Kafka過程中比較常用的幾個命令使用方式。
標(biāo)題名稱：Kafka消息積壓，你監(jiān)控Rebalance了嗎？
文章起源：http://m.fisionsoft.com.cn/article/dpoipie.html
