kafka重啟消費(fèi) offset kafka集群重啟,怎樣確?
kafka集群重啟,怎樣確?1. 查詢當(dāng)前線程是否包含kafka2,查詢當(dāng)前端口占用的線程是否屬于kafka3,打開消費(fèi)線程查看運(yùn)行狀態(tài),借助第三方監(jiān)控工具查看集群運(yùn)行狀態(tài)怎么查看kafka集群中所有
kafka集群重啟,怎樣確?
1. 查詢當(dāng)前線程是否包含kafka2,查詢當(dāng)前端口占用的線程是否屬于kafka3,打開消費(fèi)線程查看運(yùn)行狀態(tài),借助第三方監(jiān)控工具查看集群運(yùn)行狀態(tài)
怎么查看kafka集群中所有broker節(jié)點(diǎn)?
問題1:Kafka剛剛與zookeeper分離了嗎?
Zookeeper只是一個(gè)服務(wù)注冊(cè)表。如果卡夫卡能找到一個(gè)替代者,更換動(dòng)物園管理員就沒問題了。
有許多現(xiàn)有的服務(wù)器注冊(cè)中心。比如淘寶有自己的服務(wù)注冊(cè)中心產(chǎn)品。
因此,用其他服務(wù)注冊(cè)系統(tǒng)代替zookeeper是可行的(實(shí)際上,zookeeper作為服務(wù)注冊(cè)的功能并不理想)。例如,它的狀態(tài)檢測(cè)不能真實(shí)反映broker的狀態(tài)(如果可以連接,可以嗎?不
問題2:卡夫卡從zookeeper代表的服務(wù)注冊(cè)中心免費(fèi)嗎?
不,Kafka集群管理的核心是zookeeper,盡管它并不完美(甚至有許多缺點(diǎn))。但如果沒有ZK,卡夫卡是不可用的。因此沒有服務(wù)注冊(cè)的Kafka是不可用的。
kafka脫離了zookeeper可以集群?jiǎn)幔?/h2>
感謝您的邀請(qǐng)。作為卡夫卡多年的使用者,我對(duì)使用卡夫卡的感覺還是很好的。
卡夫卡的每個(gè)數(shù)據(jù)流應(yīng)該對(duì)應(yīng)一個(gè)主題,每個(gè)主題可以有多個(gè)部分。現(xiàn)在每個(gè)零件只能由一個(gè)消費(fèi)者消費(fèi)。更多的分區(qū)意味著更多的吞吐量。需要更多的文件句柄。如果使用者較少,則更多的分區(qū)將浪費(fèi)系統(tǒng)資源。從另一個(gè)角度看,越來越多的延遲將增加,這將對(duì)實(shí)時(shí)數(shù)據(jù)讀寫產(chǎn)生不利影響。
因此,適當(dāng)?shù)姆謪^(qū)數(shù)量將對(duì)Kafka的性能產(chǎn)生重要影響。
1!卡夫卡在2011被捐贈(zèng)給Apache基金會(huì),而RAFT的論文是在尋找一個(gè)潛在的一致算法,由斯坦福大學(xué)在2013出版,卡夫卡出生在RAFT之前。當(dāng)1/3節(jié)點(diǎn)不可用時(shí),服務(wù)不可用。Kafka中維護(hù)的ISR(in-sync replica,同步副本)可以提供服務(wù),即使副本不可用,只剩下領(lǐng)頭羊
3:更大的數(shù)據(jù)吞吐量。木筏適用于強(qiáng)稠度