spark是怎么區(qū)分transformer和action算子的？在我看來，spark編程中的action操作符充當觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。

spark是怎么區(qū)分transformer和action算子的？

在我看來，spark編程中的action操作符充當觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。只有當一個動作操作符被執(zhí)行時，所有先前的轉(zhuǎn)換操作符才會被執(zhí)行。下面的代碼中列出了常見的操作操作符：（Java版本）包星火研究.core導入java.util.Arrays數(shù)組導入java.util.List導入java.util.Mapimport文件org.apache.spark網(wǎng)站.SparkConf導入org.apache.spark網(wǎng)站. api.java.javapairdd文件導入org.apache.spark網(wǎng)站. api.java.JavaRDD文件導入org.apache.spark網(wǎng)站. api.java.JavaSparkContext導入org.apache.spark網(wǎng)站. api.java.function函數(shù).函數(shù)導入org.apache.spark網(wǎng)站. api.java.function函數(shù)

sparkforeachrdd是driver端還是worker端算子？

spark是用強大的Scala語言開發(fā)的。它還支持Scala、python、Java（支持java8）和R語言。一般來說，如果你有java或Python基金會，你可以學習SARD的RDD操作符操作，并執(zhí)行開發(fā)任務。

算子和算法的區(qū)別？

算法是為了實現(xiàn)某一目標而實現(xiàn)一系列指令的過程，指令中包含運算符和操作數(shù)。

操作員：操作員，簡而言之，就是執(zhí)行某種“操作”，動作。與之相對應的是要操作的對象，稱為操作數(shù)。

Spark中cache和persist的區(qū)別？

Cache

默認值是將數(shù)據(jù)存儲在內(nèi)存中，延遲執(zhí)行

def Cache（）：此.type=Persist（）

Persist

可以指定持久性級別。

最常用的是僅內(nèi)存和內(nèi)存和磁盤。

“u2”表示副本數(shù)。盡量避免使用它u2和磁盤uuonly level

注意緩存和持久化

1。兩者都是延遲執(zhí)行（有些稱為延遲執(zhí)行），觸發(fā)執(zhí)行需要動作，最小單位是partition

2。緩存或持久化RDD后，下次直接使用此變量時，將使用持久化數(shù)據(jù)

3。如果使用第二種方法，則不能立即跟隨action操作符