求問怎么設(shè)置sparksql讀取hive的數(shù)據(jù)庫？過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使

求問怎么設(shè)置sparksql讀取hive的數(shù)據(jù)庫？

過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器，修改executor，使其物理執(zhí)行過程在spark上運(yùn)行；spark-SQL使用自己的語法解析器、優(yōu)化器和executor，spark-SQL還擴(kuò)展了接口，不僅支持hive數(shù)據(jù)查詢，還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。

spark怎么從hive讀數(shù)據(jù)？

如何將來自配置單元的spark的查詢結(jié)果顯示為行

為了使spark能夠連接到配置單元的原始數(shù)據(jù)倉庫，我們需要將配置單元中的配置單元更改為行-網(wǎng)站.xml將該文件復(fù)制到spark的conf目錄，這樣您就可以通過這個(gè)配置文件找到hive的元數(shù)據(jù)和數(shù)據(jù)存儲。

在這里，因?yàn)槲业膕park是自動(dòng)安裝和部署的，所以我需要知道CDH將配置-網(wǎng)站.xml它在哪里？摸索之后。這個(gè)文件的默認(rèn)路徑在/etc/hive/conf下

同樣，spark的conf在/etc/spark/conf下

還有spark生態(tài)系統(tǒng)的研究。處理速度很快。這項(xiàng)技術(shù)是基于內(nèi)存計(jì)算的。如果你把這些都學(xué)好，你就可以畢業(yè)了。拜托，大數(shù)據(jù)是個(gè)不錯(cuò)的選擇。