spark怎么處理kafka中的json的數(shù)據(jù)？構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，part

spark怎么處理kafka中的json的數(shù)據(jù)？

構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，partitions]）使用Kafka高級(jí)使用者API使用接收器接收數(shù)據(jù)。對(duì)于所有接收器，接收到的數(shù)據(jù)將保存在spark執(zhí)行器中，然后通過(guò)spark流啟動(dòng)一個(gè)作業(yè)來(lái)處理這些數(shù)據(jù)。默認(rèn)情況下，它將丟失。您可以啟用存儲(chǔ)在HDFS上的wal日志

首先，讓我們知道RDD是什么。

RDD是一組分布式對(duì)象，本質(zhì)上是一組只讀分區(qū)記錄。

以便在群集中的不同節(jié)點(diǎn)上執(zhí)行并行計(jì)算。

也就是說(shuō)，RDD是一組只讀記錄分區(qū)，不能直接修改。它只能基于穩(wěn)定物理存儲(chǔ)中的數(shù)據(jù)集創(chuàng)建，或者通過(guò)在其他RDD上執(zhí)行某些轉(zhuǎn)換操作（如map、join和groupby）來(lái)創(chuàng)建。

RDD提供了一組豐富的操作來(lái)支持常見(jiàn)的數(shù)據(jù)操作，這些操作分為兩種類(lèi)型：操作和轉(zhuǎn)換。前者用于執(zhí)行計(jì)算并指定輸出形式，后者指定RDD之間的相互依賴關(guān)系。

（如計(jì)數(shù)、收集等）接受RDD，但返回非RDD（即輸出值或結(jié)果）。

分區(qū)可以由

new sparkconext（new sparkconf）指定。并行化（）