pyspark擁有幾種啟動(dòng)模式？本地模式Spark單機(jī)正常運(yùn)行，一般應(yīng)用于變更土地性質(zhì)測(cè)試。Standalone模式構(gòu)建體系一個(gè)由MasterSlave近似的Spark集群，Spark運(yùn)行程序在集群中

pyspark擁有幾種啟動(dòng)模式？

本地模式

Spark單機(jī)正常運(yùn)行，一般應(yīng)用于變更土地性質(zhì)測(cè)試。

Standalone模式

構(gòu)建體系一個(gè)由MasterSlave近似的Spark集群，Spark運(yùn)行程序在集群中。

SparkoffYarn模式

Spark客戶端就連接到Y(jié)arn。不不需要額外構(gòu)建體系Spark集群。

SparkontoMesos模式

400G數(shù)據(jù)需要分配多少spark內(nèi)存？

1、未分配哪些資源？

executor、coreperexecutor、memoryperexecutor、drivermemory2、哪分配這些資源？

在我們?cè)谏a(chǎn)環(huán)境中，再提交spark作業(yè)時(shí)，帶的spark-approveshell腳本，里面調(diào)整隨機(jī)的參數(shù)/usr/local/spark/bin/spark-submit--class--num-executors3配置executor的數(shù)量--executor-memory100m配置每個(gè)executor的內(nèi)存大小--executor-cores3配置每個(gè)executor的cpucore數(shù)量--driver-memory100m配置driver的內(nèi)存（影響不大很?。?usr/region/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar3、調(diào)節(jié)平衡到多大，不算大呢？

第一種，SparkStandalone，公司集群上，重新搭建了一套Spark集群，你心里應(yīng)該很清楚每臺(tái)機(jī)器還也能給你使用的，大概有多少內(nèi)存，多少cpucore；這樣，設(shè)置中的時(shí)候，就據(jù)這個(gè)換算的情況，去可以調(diào)節(jié)每個(gè)spark作業(yè)的資源分配。假如你的每臺(tái)機(jī)器都能夠給你建議使用4G內(nèi)存，2個(gè)cpucore；20臺(tái)機(jī)器；executor，20；平均每個(gè)executor：4G內(nèi)存，2個(gè)cpucore。第二種，Yarn。資源隊(duì)列。資源調(diào)度?？隙ㄈゲ榭?，你的spark作業(yè)，要遞交到的資源隊(duì)列，hadoopsparkstorm每一個(gè)隊(duì)列也有各自的資源（cpumem）也差不多有多少資源？500G內(nèi)存，100個(gè)cpucore；executor，50；來算每個(gè)executor:10G內(nèi)存，2個(gè)cpucore。Spark-completed的時(shí)候怎莫指定你資源隊(duì)列？--confspark.yarn.queuedefault可以設(shè)置隊(duì)列名稱:spark.yarn.queuedefault一個(gè)原則，你能在用的資源有多大，就最好不要去調(diào)節(jié)平衡到的最的大小（executor的數(shù)量，五六個(gè)到上百個(gè)隨后；executor內(nèi)存；executorcpucore）