從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會(huì)自動(dòng)刪除嗎？基于receiver的實(shí)現(xiàn)將使用kakfa的高級(jí)消費(fèi)API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動(dòng)作業(yè)來(lái)處理

從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會(huì)自動(dòng)刪除嗎？

基于receiver的實(shí)現(xiàn)將使用kakfa的高級(jí)消費(fèi)API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動(dòng)作業(yè)來(lái)處理數(shù)據(jù)。

在默認(rèn)配置中，如果出現(xiàn)故障，此方法將丟失數(shù)據(jù)。為了確保零數(shù)據(jù)丟失，我們需要啟用wal（writeaheadlogs）。它將接收到的數(shù)據(jù)同步保存到分布式文件系統(tǒng)，如HDFS。因此，在發(fā)生錯(cuò)誤時(shí)可以恢復(fù)數(shù)據(jù)。

使用兩個(gè)步驟：1。添加依賴項(xiàng)：Spark streaming Kafka 2.10-1.3.0

2導(dǎo)入器g.apache.spark. 卡夫卡.

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka有些功能是一樣的，但總的來(lái)說(shuō)，它們有很大的不同；它們的場(chǎng)景不同，但可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問(wèn)功能。

整個(gè)過(guò)程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對(duì)您有所幫助

大數(shù)據(jù)和Java語(yǔ)言有啥區(qū)別？

大數(shù)據(jù)是指?jìng)鹘y(tǒng)軟件工具在一定時(shí)間內(nèi)無(wú)法捕獲、管理和處理的數(shù)據(jù)集。它是一種海量、高增長(zhǎng)率、多樣化的信息資產(chǎn)，需要新的處理模式具有更強(qiáng)的決策能力、洞察力和流程優(yōu)化能力。

軟件開發(fā)是根據(jù)用戶需求構(gòu)建軟件系統(tǒng)或系統(tǒng)的軟件部分的過(guò)程。軟件開發(fā)是一個(gè)系統(tǒng)工程，包括需求捕獲、需求分析、設(shè)計(jì)、實(shí)現(xiàn)和測(cè)試。就業(yè)肯定軟件開發(fā)是更好的就業(yè)

在學(xué)習(xí)大數(shù)據(jù)之前先學(xué)一門計(jì)算機(jī)編程語(yǔ)言。大數(shù)據(jù)的開發(fā)需要編程語(yǔ)言的基礎(chǔ)，因?yàn)榇髷?shù)據(jù)的開發(fā)是基于一些常用的高級(jí)語(yǔ)言，比如Java和Java。凈額。Java具有簡(jiǎn)單性、面向?qū)ο笮?、分布式、健壯性、安全性、平臺(tái)無(wú)關(guān)性和可移植性、多線程、動(dòng)態(tài)性等特點(diǎn)。Java可以編寫桌面應(yīng)用程序、web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序。學(xué)習(xí)java會(huì)有一定的學(xué)習(xí)能力，然后學(xué)習(xí)其他語(yǔ)言和技術(shù)會(huì)容易得多。無(wú)論是Hadoop還是數(shù)據(jù)挖掘，都需要高級(jí)編程語(yǔ)言的基礎(chǔ)。

因此，如果你想學(xué)習(xí)大數(shù)據(jù)開發(fā)，你還需要至少掌握一門高級(jí)語(yǔ)言。例如，許多Hadoop和其他大數(shù)據(jù)處理技術(shù)都使用Java，比如Apache基于Java的HBase、acumulo和elasticsearchas。因此，學(xué)習(xí)Hadoop的首要條件之一就是掌握J(rèn)ava編程語(yǔ)言。