spark怎么處理kafka中的json的數(shù)據(jù)？構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，part

spark怎么處理kafka中的json的數(shù)據(jù)？

構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，partitions]）使用Kafka高級(jí)使用者API使用接收器接收數(shù)據(jù)。對(duì)于所有接收器，接收到的數(shù)據(jù)將保存在spark executors中，然后通過(guò)spark Streaming啟動(dòng)一個(gè)作業(yè)來(lái)處理數(shù)據(jù)，默認(rèn)情況下這些數(shù)據(jù)將丟失。它可以啟用存儲(chǔ)在HDFS上的wal-log

spark是一個(gè)工具，而深度學(xué)習(xí)是一種解決問(wèn)題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法。對(duì)于大數(shù)據(jù)分析，您不需要在代碼級(jí)別和架構(gòu)級(jí)別熟悉spark。因?yàn)樗皇且粋€(gè)工具，你可以熟練地使用它。如果主題有很好的編程基礎(chǔ)，一個(gè)月就足夠?qū)W好SPARKSQL和SPARKML了。算法學(xué)習(xí)需要花費(fèi)更多的精力。但如果受試者想學(xué)習(xí)深度學(xué)習(xí)，則不建議學(xué)習(xí)spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU進(jìn)行計(jì)算，而spark是一種內(nèi)存計(jì)算框架，主要在CPU上完成計(jì)算，因此計(jì)算效率不如GPU高。因此，如果將深度學(xué)習(xí)用于大數(shù)據(jù)分析，則可以使用tensorflow和其他框架。