hive和sparksql的區(qū)別？過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQ

hive和sparksql的區(qū)別？

過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器，修改executor，使其物理執(zhí)行過程在spark上運行；spark-SQL使用自己的語法解析器、優(yōu)化器和executor，spark-SQL還擴(kuò)展了接口，不僅支持hive數(shù)據(jù)查詢，還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。

如何使用scala開發(fā)spark作業(yè)，并訪問hive？

1. 為了讓spark連接到hive的原始數(shù)據(jù)倉庫，我們需要在hive中連接hive-網(wǎng)站.xml將該文件復(fù)制到spark的conf目錄，這樣您就可以通過這個配置文件找到hive的元數(shù)據(jù)和數(shù)據(jù)存儲。

在這里，因為我的spark是自動安裝和部署的，所以我需要知道CDH將配置-網(wǎng)站.xml它在哪里？摸索之后。此文件的默認(rèn)路徑在/etc/hive/conf下

類似地，spark的conf在/etc/spark/conf下

此時，如上所述，相應(yīng)的配置單元被更改-網(wǎng)站.xml復(fù)制到spark/conf目錄

如果hive的元數(shù)據(jù)存儲在mysql中，我們需要準(zhǔn)備mysql相關(guān)的驅(qū)動程序，例如mysql-connector-java-5.1.22-bin.jar文件.

spark SQL和hive到底什么關(guān)系？

Hive是一種基于HDFS的數(shù)據(jù)倉庫，提供了一種基于SQL模型的查詢引擎，用于存儲大數(shù)據(jù)的數(shù)據(jù)倉庫的分布式交互查詢。Spark SQL不能完全取代hive。它取代了hive的查詢引擎。因為它的底層基于Spark自身基于內(nèi)存的特性，Spark SQL的速度比hive的查詢引擎快幾倍。Spark本身不提供存儲，因此它不能取代hive作為數(shù)據(jù)倉庫的功能。sparksql相對于hive的另一個優(yōu)勢是它支持大量不同的數(shù)據(jù)源，包括hive、JSON、parquet、JDBC等等。由于sparksql是spark技術(shù)的核心，基于RDD，可以與spark的其他組件無縫集成，實現(xiàn)許多復(fù)雜的功能。例如，sparksql支持可以直接為HDFS文件執(zhí)行SQL語句。