kafka數據類型 日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?
日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?flume和Kafka的一些功能是相同的,但總的來說,它們是完全不同的;它們的場景是不同的,但它們可以一起使用。簡而言之,flume是一個分布式日志
日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?
flume和Kafka的一些功能是相同的,但總的來說,它們是完全不同的;它們的場景是不同的,但它們可以一起使用。
簡而言之,flume是一個分布式日志收集系統(tǒng),它從各種服務器收集日志并將其傳輸到指定的位置,如HDFS。
Kafka是一個分布式消息中間件,有自己的存儲,提供推拉數據訪問功能。
整個過程如下:
登錄服務器<--flume-->kafka-->hdfs-->離線計算
登錄服務器<--flume-->kafka-->storm
希望我的回答能對您有所幫助
kafka數據類型多少種?
kafka基本概念介紹?
消息中間件主要用作接收數據和保證數據不丟失的緩沖區(qū)。它通常用于實時計算。與卡夫卡一起安裝的程序可以稱為中間人,是卡夫卡生產者和消費者的重要角色。如果卡夫卡中的分區(qū)數大于1,則卡夫卡中的分區(qū)數大于1,則角色分為領導和領導。領導負責讀寫,領導負責同步數據。在采訪中,人們經常被問到卡夫卡為什么有這么大的吞吐量。首先,并行執(zhí)行多個分區(qū);其次,按順序寫入磁盤;第三,操作系統(tǒng)級緩存