mysql作為數(shù)據(jù)源可否直接用spark處理？謝謝。Spark通過(guò)JDBC從RDB查詢(xún)數(shù)據(jù)源。不過(guò)，Spark對(duì)JDBC的支持也是一個(gè)漸進(jìn)的演進(jìn)過(guò)程，關(guān)鍵是1.3版的引入，也就是數(shù)據(jù)幀。在1.3之前，

mysql作為數(shù)據(jù)源可否直接用spark處理？

謝謝。Spark通過(guò)JDBC從RDB查詢(xún)數(shù)據(jù)源。不過(guò)，Spark對(duì)JDBC的支持也是一個(gè)漸進(jìn)的演進(jìn)過(guò)程，關(guān)鍵是1.3版的引入，也就是數(shù)據(jù)幀。在1.3之前，spark使用JDBCRDD處理對(duì)JDBC的查詢(xún)。它實(shí)現(xiàn)了標(biāo)準(zhǔn)的RDD接口，如分區(qū)和計(jì)算。但對(duì)很多用戶(hù)來(lái)說(shuō)太復(fù)雜了。從1.3開(kāi)始，您可以直接用DF接口做同樣的事情。例如，下面的代碼可以完成一個(gè)RDB表的查詢(xún)

如您所見(jiàn)，無(wú)論數(shù)據(jù)源（hive、parquet，甚至NoSQL）的數(shù)據(jù)來(lái)自何處，在引入數(shù)據(jù)幀后，其代碼都非常相似，結(jié)果就是數(shù)據(jù)幀，您可以盡可能地將它們混合在一起。至于dataframe如何支持多個(gè)數(shù)據(jù)源以及如何優(yōu)化它們，我將再次討論源代碼。

大數(shù)據(jù)處理為何選擇spark？

spark parquet只能用于spark sql么？

1）過(guò)去，整個(gè)行業(yè)大數(shù)據(jù)分析的技術(shù)棧流水線一般分為以下兩種方式：一是數(shù)據(jù)源--> HDFS--> Mr/hive/spark（相當(dāng)于ETL）－> HDFS parquet--> spark SQL/impala--> resultservice（可以放在數(shù)據(jù)庫(kù)中，也可以通過(guò)JDBC/ODBC作為數(shù)據(jù)服務(wù)使用）；b） 數(shù)據(jù)源->將數(shù)據(jù)實(shí)時(shí)更新到HBase/DB->導(dǎo)出到parquet-> spark SQL/impala-> resultservice（可放入DB或通過(guò)JDBC/ODBC作為數(shù)據(jù)服務(wù)使用）；上面提到的第二種方法完全可以通過(guò)Kafka spark streaming spark SQL來(lái)實(shí)現(xiàn)（也強(qiáng)烈建議使用parquet內(nèi)部存儲(chǔ)數(shù)據(jù)），而不是2）預(yù)期的方式：datasource-> Kafka-> spark streaming-> PARQ

在定位方面，兩者都可以用于家庭，而且體積差不多，不過(guò)現(xiàn)在我覺(jué)得spark比較合適。在功能方面，spark更適合家庭錄音，因?yàn)樗腢SB錄音輸出可以作為聲卡使用，適合家庭錄音環(huán)境，可以直接把信號(hào)錄到Daw上。Thr 30 II無(wú)線簡(jiǎn)單地提供吉他揚(yáng)聲器系統(tǒng)。Spark還擁有強(qiáng)大的智能專(zhuān)屬伴奏，因此在家里可以擁有樂(lè)隊(duì)級(jí)伴奏。在操作方面，thr30ii無(wú)線是個(gè)傻瓜。雖然很簡(jiǎn)單，但很單調(diào)。Spark 40更詳細(xì)。您可以下載預(yù)設(shè)或慢慢調(diào)整參數(shù)，這會(huì)讓您感覺(jué)更好。最后但并非最不重要的是，雅馬哈thr30ii的價(jià)格是spark的兩倍。毫無(wú)疑問(wèn)，spark 40是性?xún)r(jià)比之王。錢(qián)少了，還能有偏音引擎嗎？

Spark 40和THR 30 II Wireless？

SBT更適合構(gòu)建Scala項(xiàng)目，Maven更適合構(gòu)建java項(xiàng)目。2對(duì)于spark中的API，Java和scala是不同的，但是差別不大。三。如果用Scala開(kāi)發(fā)spark原型程序，可以使用spark-shell進(jìn)行繪圖，也可以直接使用spark-shell進(jìn)行交互式實(shí)時(shí)查詢(xún)。4scala代碼的數(shù)量甚至?xí)p少一個(gè)數(shù)量級(jí)，但使用scala的門(mén)檻相對(duì)較高。建議：使用Scala構(gòu)建spark作業(yè)，因?yàn)閟park本身是由SBT構(gòu)建的。同時(shí)，利用Scala開(kāi)發(fā)spark作業(yè)將有助于理解spark的實(shí)現(xiàn)機(jī)制