日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。簡而言之，flume是一個分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務器收集日志并將其傳輸?shù)街付ǖ奈恢茫鏗DFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務器<--flume-->kafka-->hdfs-->離線計算

登錄服務器<--flume-->kafka-->storm

希望我的回答能對您有所幫助

如何設計日志采集存儲分析的架構(gòu)？

Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個孵化項目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來收集數(shù)據(jù)。同時，flume提供了簡單處理數(shù)據(jù)和向各種數(shù)據(jù)接收器寫入數(shù)據(jù)的能力（可定制）flume提供了從數(shù)據(jù)源（如console、RPC、text、tail、syslog和exec）收集數(shù)據(jù)的能力。Flume使用多主方法。為了保證配置數(shù)據(jù)的一致性，flume引入zookeeper來保存配置數(shù)據(jù)。Zookeeper本身可以保證配置數(shù)據(jù)的一致性和高可用性。此外，當配置數(shù)據(jù)發(fā)生變化時，zookeeper可以通知flume master節(jié)點。Flume主機使用八卦協(xié)議來同步數(shù)據(jù)。Flume是一個分布式的、可靠的、高可用性的海量日志聚合系統(tǒng)，它支持系統(tǒng)中各種數(shù)據(jù)發(fā)送者的定制來收集數(shù)據(jù)；同時，F(xiàn)lume提供了簡單處理數(shù)據(jù)和向各種數(shù)據(jù)接收者寫入數(shù)據(jù)的能力（可定制）。設計目標：（1）可靠性（2）可擴展性（3）可管理性（4）功能可擴展性

1。自學（這是第一個條件）

2。多參與技術(shù)討論，增加自己的員工，這對新手來說非常重要，軟件行業(yè)喜歡推陳出新

3寫自己的開源項目，里面積累了互聯(lián)網(wǎng)上的專家

分布式，設計模式，前端技術(shù)，在線支付，全文搜索引擎，docker，WebService等

詳細可以去如鵬的官方網(wǎng)站學習，那里有網(wǎng)絡，你可以學習，隨時提問，老師可以在線實時答疑。有技術(shù)大牛親自授課，口碑好，基本上都很佩服。有新課程更新，也可以繼續(xù)申請學習。