spark讀取hdfs路徑下的文件 如何將hdfs里某一目錄下的所有文件的文件名讀取出來(lái)?
如何將hdfs里某一目錄下的所有文件的文件名讀取出來(lái)?默認(rèn)情況下,文件是從HDFS讀取的,也可以指定HDFSsc.textFile文件(“路徑”)。在路徑之前添加HDFS://,意味著從HDFS文件系
如何將hdfs里某一目錄下的所有文件的文件名讀取出來(lái)?
默認(rèn)情況下,文件是從HDFS讀取的,也可以指定HDFSsc.textFile文件(“路徑”)。在路徑之前添加HDFS://,意味著從HDFS文件系統(tǒng)讀取本地文件sc.textFile文件(“路徑”)。在路徑之前添加file://,意味著從本地文件系統(tǒng)讀取,例如file:///home/user/spark/自述文件.md