日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。簡(jiǎn)而言之，flume是一個(gè)分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問功能。

整個(gè)過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對(duì)您有所幫助

如何搭建kafka？該如何學(xué)習(xí)kafka？

百度需要一個(gè)地方來存儲(chǔ)元信息。Zookeeper也是分布式的，這對(duì)于配置管理來說是更好的。所以我用了它。

沒有zookeeper，我們還需要一種機(jī)制來存儲(chǔ)元數(shù)據(jù)和交換集群信息。

卡夫卡的官方文件有說明。Zookeeper是解決分布式一致性問題的工具。

至于Kafka為什么使用ZK，您應(yīng)該首先了解ZK作為分散集群模式的作用。

消費(fèi)者需要知道哪些生產(chǎn)者（對(duì)于消費(fèi)者來說，卡夫卡是生產(chǎn)者）是可用的。

如果沒有ZK，消費(fèi)者怎么知道？如果每個(gè)消費(fèi)者在消費(fèi)之前都嘗試連接到生產(chǎn)者，以測(cè)試連接是否成功，那么效率問題如何解決。

因此，卡夫卡需要ZK，卡夫卡的設(shè)計(jì)依賴于ZK。