如何為Kafka集群選擇合適的Partitions數(shù)量？十分感謝請貼回答這個問題。作為kafka的多年用戶，這點那就很有可以使用能感受到的。kafka每個數(shù)據(jù)流都要按一個topic,每個topic可以

如何為Kafka集群選擇合適的Partitions數(shù)量？

十分感謝請貼回答這個問題。作為kafka的多年用戶，這點那就很有可以使用能感受到的。

kafka每個數(shù)據(jù)流都要按一個topic,每個topic可以有多個parttion.每個parttion現(xiàn)只能被一個消費者消費.一定的partition換句話說就會的吞吐量。不需要更多的文件句柄。如果不是消費者也很少，那更多的partition會浪費了系統(tǒng)資源。從另一個角度上來說，更多會提升延時，會對實時性的數(shù)據(jù)讀寫產(chǎn)生不好的影響。

所以說恰當(dāng)?shù)姆謪^(qū)數(shù)會對kafka的性能有著比較比較重要的影響。

spark為啥不能導(dǎo)入kafka相關(guān)包？

曾經(jīng)的試過了用sparkstreaming讀取logstash啟動的TCPServer的數(shù)據(jù)。只不過假如你有多臺logstash的時候，這種就也很不太好辦了——就算你給logstash集群先申請一個VIP，也沒法確定說轉(zhuǎn)發(fā)完全符合。因為一般來說，更多的選擇是采用kafka等隊列由sparkstreaming去充當(dāng)訂閱者資源數(shù)據(jù)。

sasl認證原理？

一.背景

kafka可以提供了多種安全認證機制，要注意分成三類SSL和SASL2大類。其中SASL/PLAIN是基于條件賬號密碼的認證，比較比較具體方法。最近做了個kafka的鑒權(quán)，發(fā)現(xiàn)官網(wǎng)上講的不是什么很很清楚，網(wǎng)上各種博客倒很多，只不過良莠不齊，巨多坑。在一天的研究，再一次一切搞定了，特在此留下記錄下。

二.環(huán)境

操作系統(tǒng)：linux

kafka版本：kafka_2.12-0.11.0.1

zookeeper版本：zookeeper-3.5.1-alpha

三.認證步驟

3.1.Zookeeper配置和起動

1.為zookeeper再添加SASL支持，在配置文件添加

requireClientAuthSchemesasljaasLoginRenew3600000

2.空白文檔zk_server_文件，為Zookeeper添加賬號認證信息

這個文件你放進哪里隨意，只需后面zkEnv配置正確的的路徑就再說。我是放進/home路徑下。zk_server_文件的內(nèi)容:

Server{requiredusername