spark SQL和hive到底什么關(guān)系？Hive是一種基于HDFS的數(shù)據(jù)倉庫，提供了一種基于SQL模型的查詢引擎，用于存儲大數(shù)據(jù)的數(shù)據(jù)倉庫的分布式交互查詢。Spark SQL不能完全取代hive。它

spark SQL和hive到底什么關(guān)系？

Hive是一種基于HDFS的數(shù)據(jù)倉庫，提供了一種基于SQL模型的查詢引擎，用于存儲大數(shù)據(jù)的數(shù)據(jù)倉庫的分布式交互查詢。Spark SQL不能完全取代hive。它取代了hive的查詢引擎。因?yàn)樗牡讓踊赟park自身基于內(nèi)存的特性，Spark SQL的速度比hive的查詢引擎快幾倍。Spark本身不提供存儲，因此它不能取代hive作為數(shù)據(jù)倉庫的功能。sparksql相對于hive的另一個優(yōu)勢是它支持大量不同的數(shù)據(jù)源，包括hive、JSON、parquet、JDBC等等。由于sparksql是spark技術(shù)的核心，基于RDD，可以與spark的其他組件無縫集成，實(shí)現(xiàn)許多復(fù)雜的功能。例如，sparksql支持可以直接為HDFS文件執(zhí)行SQL語句。

Spark的核心組件有幾部分？

實(shí)現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯誤恢復(fù)和存儲系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義

Spark是一個用來操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我們可以使用SQL或hive（HQL）來查詢數(shù)據(jù)，支持多種數(shù)據(jù)源，比如hive表是JSON，除了提供SQL查詢接口外，還支持SQL與傳統(tǒng)RDD的結(jié)合，開發(fā)人員可以使用SQL和編程（API）同時查詢和分析應(yīng)用程序中的數(shù)據(jù)。

它是spark提供的用于實(shí)時數(shù)據(jù)流計(jì)算的組件。例如，web服務(wù)器日志或消息隊(duì)列是數(shù)據(jù)流。

Spark提供了一個通用機(jī)器學(xué)習(xí)函數(shù)庫，包括許多機(jī)器學(xué)習(xí)算法，如分類、回歸、聚類、協(xié)作過濾等。

用于圖形計(jì)算，如社交網(wǎng)絡(luò)朋友圖。

sparksql怎么把df注冊成表？

在spark SQL中創(chuàng)建dataframe，開發(fā)人員可以輕松地將各種內(nèi)部和外部獨(dú)立和分布式數(shù)據(jù)轉(zhuǎn)換為dataframe。下面的Python示例代碼充分反映了spark SQL 1.3.0中dataframe數(shù)據(jù)源的多樣性和簡單性：#construct dataframeusers from users table in hive=sqlContext.table表（“users”）加載S3上的JSON文件日志=sqlContext.load文件（“s3n://path/to/數(shù)據(jù).json", “JSON”）#加載拼花文件單擊HDFS=sqlContext.load文件(" hdfs://path/to/data.parquet“，”parquet“）#通過JDBC訪問MySQL注釋=sqlContext.jdbc文件(" jdbc:mysql：//localhost/comments“，“用戶）”）#=sparkContext.text文件(" 文章.txt“”.flatMap（λ線：行。拆分（））.map（lambda word:（word，1））.reduceByKey（lambda a，b:a b）字?jǐn)?shù)=sqlContext.createDataFrame（RDD，[“word”，“count”]）將本地?cái)?shù)據(jù)容器轉(zhuǎn)換為dataframedata=[（“Alice”，21），（“Bob”，24）]人=sqlContext.createDataFrame（數(shù)據(jù)，[“姓名”，“年齡”]）#=sqlContext.createDataFrame（潘達(dá)斯夫）