spark中讀入RDD的數(shù)據(jù)是自動(dòng)分區(qū)的嗎？讓我們先了解RDD是什么。RDD是一組分布式對(duì)象，本質(zhì)上是一組只讀分區(qū)記錄。以便在群集中的不同節(jié)點(diǎn)上執(zhí)行并行計(jì)算。也就是說，RDD是一組只讀記錄分區(qū)，不能直

spark中讀入RDD的數(shù)據(jù)是自動(dòng)分區(qū)的嗎？

讓我們先了解RDD是什么。

RDD是一組分布式對(duì)象，本質(zhì)上是一組只讀分區(qū)記錄。

以便在群集中的不同節(jié)點(diǎn)上執(zhí)行并行計(jì)算。

也就是說，RDD是一組只讀記錄分區(qū)，不能直接修改。它只能基于穩(wěn)定物理存儲(chǔ)中的數(shù)據(jù)集創(chuàng)建，或者通過在其他RDD上執(zhí)行某些轉(zhuǎn)換操作（如map、join和groupby）來創(chuàng)建。

RDD提供了一組豐富的操作來支持常見的數(shù)據(jù)操作，這些操作分為兩種類型：操作和轉(zhuǎn)換。前者用于執(zhí)行計(jì)算并指定輸出形式，后者指定RDD之間的相互依賴關(guān)系。

（如計(jì)數(shù)、收集等）接受RDD，但返回非RDD（即輸出值或結(jié)果）。

分區(qū)可以由

new sparkconext（new Sparkconf）指定。Parallelize（）用這種方式指定分區(qū)

~]#在spark中拼接RDD指定的行數(shù)據(jù)，并將RDD合并成一行。Python實(shí)現(xiàn)frommysparkimportsparkcontextsc=sparkcontext（“l(fā)ocal”，“myapp”）行=sc.并行化（[[1，2，3]，[4，5，6]，[7，8，9]，[10，11，12

）#獲取指定行的數(shù)據(jù)并返回rdddefgetnum（s）：#全局行號(hào)迭代glo Ballcounter#指定行號(hào)。Globalrowcounter=1If（counter==row）：returncounter=0row=3#cache（）緩存數(shù)據(jù)x1=行。篩選器（getnum）.cache（）行=4x2=行。篩選器（getnum）。Cache（）#生成rddxx=x1。包含兩個(gè)RDD中所有元素的并集（x2）打印xx.collect（）

spark上怎么講讀取的數(shù)據(jù)的某幾行合并成一行，新手？

ass UsridPartitioner（numParts:內(nèi)部)Extends partitioner{//number of covered partitions override def Numpartitions:int=numparts//get function override def getpartition（key:any）：int=numparts{key.toString.toInt鍵}}對(duì)象測(cè)試{def main（args:array）[字符串]{Val conf=new sparkconf（）Val SC=new sparkcontext（conf）//模擬5個(gè)分區(qū)的數(shù)據(jù)Val data=sc.并行化（1到10,5）//按尾號(hào)分成10個(gè)分區(qū)，分為10個(gè)文件數(shù)據(jù).map（（（1））.partitionBy（新UsridPartitioner（10））.sa