sqoop原理 如何使用sqoop將oracle中的數(shù)據(jù)導(dǎo)入HBase中?
如何使用sqoop將oracle中的數(shù)據(jù)導(dǎo)入HBase中?--取兩個日期間的工作天數(shù)SELECT COUNT(*) INTO vnFROM (SELECT vod ROWNUM - 1 RNFRO
如何使用sqoop將oracle中的數(shù)據(jù)導(dǎo)入HBase中?
--取兩個日期間的工作天數(shù)
SELECT COUNT(*) INTO vn
FROM (SELECT vod ROWNUM - 1 RN
FROM DUAL
CONNECT BY ROWNUM
WHERE TO_CHAR(RN, "D") BETWEEN 2 AND 6
--返回數(shù)字
RETURN vn
--異常判斷并返回-1
EXCEPTION
WHEN OTHERS THEN
RETURN -1
END fun_get_workdays
然后select id,fun_get_workdays(begin_date date, end_date date) from table
學(xué)習(xí)大數(shù)據(jù)難嗎?
大數(shù)據(jù)的學(xué)習(xí)有一定難度,但是如果能有一個系統(tǒng)的學(xué)習(xí)計劃,入門大數(shù)據(jù)也并不是那么困難。要想入門大數(shù)據(jù)需要做好以下幾個方面的準備:
第一,根據(jù)自身的知識結(jié)構(gòu)找切入點。大數(shù)據(jù)的基礎(chǔ)知識涵蓋三部分內(nèi)容,分別是計算機、數(shù)學(xué)和統(tǒng)計學(xué),如果是這三個專業(yè)的畢業(yè)生,那么可以比較容易的進入大數(shù)據(jù)領(lǐng)域,可以從事的崗位也比較多(數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)等)。如果是非相關(guān)專業(yè),那么要從計算機基礎(chǔ)知識入手,比如首先要熟練使用Linux系列操作系統(tǒng)(CentOS、Ubuntu等),因為大部分大數(shù)據(jù)平臺都是基于Linux系統(tǒng)搭建的。
第二,了解大數(shù)據(jù)平臺。目前Hadoop與Spark是比較常見的大數(shù)據(jù)平臺,很多商用大數(shù)據(jù)平臺也是基于Hadoop構(gòu)建的,所以掌握Hadoop和Spark平臺的搭建是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)。Hadoop平臺對計算機硬件的要求并不高,個人電腦就可以完成搭建,所以比較適合初學(xué)者。
第三,掌握編程語言。不管從事大數(shù)據(jù)哪個方面的工作,掌握一門編程語言都是很有必要的,比如Java、Python、Scala、R等語言在大數(shù)據(jù)領(lǐng)域都有廣泛的使用。
入門大數(shù)據(jù)需要一段時間,畢竟大數(shù)據(jù)涉及到的內(nèi)容比較多,也比較雜。按照歷史經(jīng)驗來看,入門大數(shù)據(jù)最好的辦法是以用促學(xué),一邊使用一邊學(xué)習(xí)能促進大數(shù)據(jù)的學(xué)習(xí),也能夠讓學(xué)習(xí)逐漸深入。所以,建議學(xué)習(xí)大數(shù)據(jù)要跟著案例走。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會陸續(xù)在頭條上寫一些關(guān)于大數(shù)據(jù)方面的文章,感興趣的朋友可以關(guān)注我的頭條號,相信一定會有所收獲。
如果有大數(shù)據(jù)方面的問題,也可以咨詢我。
謝謝!