日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。簡(jiǎn)而言之，flume是一個(gè)分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問功能。

整個(gè)過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

Kafka有哪些好的例子可以用來快速入門？

有兩種選擇。

Scheme 1 Local message transaction table

生產(chǎn)者需要添加一個(gè)事務(wù)消息表。具體步驟如下：[1。生產(chǎn)者執(zhí)行業(yè)務(wù)邏輯并將事務(wù)記錄插入到消息表中。這兩個(gè)操作在一個(gè)本地事務(wù)中

2。啟動(dòng)后臺(tái)線程定期輪詢消息表并將消息發(fā)送到消息隊(duì)列

3。刪除消息表中的消息，直到發(fā)送成功。

方案2需要消息隊(duì)列支持，業(yè)務(wù)端提供回溯接口

1。生產(chǎn)端將準(zhǔn)備好的消息發(fā)送到消息隊(duì)列

2。在本地事務(wù)中，業(yè)務(wù)邏輯

3。根據(jù)執(zhí)行結(jié)果確認(rèn)或取消準(zhǔn)備好的消息

4。消息隊(duì)列將確保準(zhǔn)備好的消息被確認(rèn)或取消，并且消息隊(duì)列將不斷地向生產(chǎn)端請(qǐng)求執(zhí)行結(jié)果，這要求生產(chǎn)端提供類似的回調(diào)函數(shù)。

在方案2中，消息隊(duì)列取代了方案1中的消息表和后臺(tái)線程輪詢功能，但并非所有消息隊(duì)列都支持此功能。支持Rocketmq。

方案1的開發(fā)工作量大，外部依賴性小

方案2的開發(fā)工作量小，但依賴于特定的消息隊(duì)列。

如何使用消息隊(duì)列解決分布式事務(wù)？

1. 在上圖中定義消息發(fā)送和消耗的過程

2。為消息定義消息協(xié)議，如ActiveMQ、stomp、XMPP等。定義消息協(xié)議，定義消息隊(duì)列需要滿足的場(chǎng)景

是否要保證消息的可靠性，必要時(shí)要保證存儲(chǔ)的高可用性

是否支持同步和異步消息

是否要保證消息的順序

是否需要延遲消息要支持

很多開源的實(shí)現(xiàn)功能可以參考詳細(xì)信息。例如，rocketmq是高度可靠的，Kafka是高吞吐量的，但不是高度可靠的。

如何設(shè)計(jì)一個(gè)MQ消息隊(duì)列？

我沒事，來這里玩，開始在各種網(wǎng)絡(luò)上尋找技術(shù)信息，之后以“頭條”為主。從尋找信息到交朋友。因?yàn)槲矣X得事情落后于時(shí)代，有人認(rèn)為，是因?yàn)樽约核讲桓?。只是在心里想，無法實(shí)現(xiàn)現(xiàn)實(shí)

JAVA面試如何保證消息不被重復(fù)消費(fèi)？如何保證消息消費(fèi)的冪等性？

感謝您邀請(qǐng)肖恩回答

！眾所周知，bat和其他互聯(lián)網(wǎng)巨頭本質(zhì)上都是“大數(shù)據(jù)”公司。他們的收入很大一部分來自實(shí)現(xiàn)數(shù)據(jù)和流量。這些“大數(shù)據(jù)”是由你、我和他的個(gè)人數(shù)據(jù)組成的。我們?cè)谖⑿派仙缃?，在淘寶上?gòu)物，在百度上搜索。我們一直提供數(shù)據(jù)。

我們的個(gè)人資料是他們秘密收集的。通過數(shù)據(jù)分析，他們?yōu)槲覀兺其N廣告和商品，充分利用我們的個(gè)人資料，換取巨額利潤(rùn)。作為數(shù)據(jù)生產(chǎn)者，他們得不到我們的授權(quán)，我們幾乎得不到任何好處。

此外，數(shù)據(jù)轉(zhuǎn)售和隱私泄露時(shí)有發(fā)生。例如，我們?cè)谝粋€(gè)網(wǎng)站上瀏覽了一個(gè)產(chǎn)品，很快就接到了其他商家的電話來推銷這個(gè)產(chǎn)品。我相信很多人都有過這樣的經(jīng)歷。數(shù)據(jù)濫用，隱私泄露，騷擾小，安全問題大

！區(qū)塊鏈可以有效解決這些問題。

區(qū)塊鏈具有全網(wǎng)記賬、加密、無篡改、可追溯的特點(diǎn)，可實(shí)現(xiàn)用戶數(shù)據(jù)權(quán)限確認(rèn)。用戶的個(gè)人數(shù)據(jù)保存在區(qū)塊鏈上，而不是集中服務(wù)器上。每個(gè)數(shù)據(jù)都可以定義為所有權(quán)，用戶擁有個(gè)人數(shù)據(jù)的100%所有權(quán)。未經(jīng)授權(quán)，企業(yè)不能查看其他人的數(shù)據(jù)。如果需要使用，必須向用戶付費(fèi)并獲得相應(yīng)的授權(quán)。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)是黃金。個(gè)人數(shù)據(jù)的正確確認(rèn)意味著用戶不僅可以控制自己的數(shù)據(jù)，還可以通過數(shù)據(jù)的輸出獲得相應(yīng)的利益。

如果你在熊市中尋找新的機(jī)會(huì)，請(qǐng)注意肖恩的第一！肖恩每天給你帶來市場(chǎng)分析和項(xiàng)目分析。