學(xué)習(xí)大數(shù)據(jù)難嗎？在學(xué)習(xí)之前，首先判斷的并非難并不難，完全是估計(jì)怎么學(xué)好的問題。學(xué)習(xí)大數(shù)據(jù)給幾點(diǎn)建議：1.上重點(diǎn)手中掌握大數(shù)據(jù)體系的架構(gòu)和原理，比如說：分布式存儲和換算的思想2.大數(shù)據(jù)框架的體系，.例如

學(xué)習(xí)大數(shù)據(jù)難嗎？

在學(xué)習(xí)之前，首先判斷的并非難并不難，完全是估計(jì)怎么學(xué)好的問題。學(xué)習(xí)大數(shù)據(jù)給幾點(diǎn)建議：

1.上重點(diǎn)手中掌握大數(shù)據(jù)體系的架構(gòu)和原理，比如說：分布式存儲和換算的思想

2.大數(shù)據(jù)框架的體系，.例如：hadoop，spark等等

3.多動手做實(shí)驗(yàn)，也多問問看有經(jīng)驗(yàn)的人。

如果有信心，另外要堅(jiān)持，是有這個(gè)可以把英語學(xué)好。

kettle 8導(dǎo)出數(shù)據(jù)Hadoop File Output上傳到集群比較慢？

Kettle有個(gè)hdfs插件就可以再用，不過要再注意你的hadoop集群版本和kettle中hadoop查找jar包要一致。

怎么用sqoop把hive的數(shù)據(jù)導(dǎo)入mysql？

運(yùn)行環(huán)境centos5.6hadoophive

sqoop是讓hadoop技術(shù)支持的clouder公司的新的一個(gè)在關(guān)系數(shù)據(jù)庫和hdfs,hive之間數(shù)據(jù)導(dǎo)入的一個(gè)工具。

上海尚學(xué)堂hadoop大數(shù)據(jù)培訓(xùn)組原創(chuàng)，陸陸續(xù)續(xù)有hadoop大數(shù)據(jù)技術(shù)干貨文章奉上，請多參與！

在建議使用過程中可能遇到的問題：

sqoop依戀zookeeper，所以要配置ZOOKEEPER_HOME到環(huán)境變量中。

sqoop-1.2.0-CDH3B4依賴hadoop-core-0.20.2-CDH3B4.jar，所以我你是需要上網(wǎng)下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后將hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar不能復(fù)制到sqoop-1.2.0-CDH3B4/lib中。

1首先按裝sqoop,如果你可以使用的是clouder清點(diǎn)版的話就更加很簡單

#yuminstallsqoop

如果不是用官方版本的話

#cd

#wget

#yum-yinstallsqoop

sqoop都會直接安裝能夠完成

2使用sqoop

是需要將mysql-connector-java-5.1.16-bin.jar文件截圖到/usr/lib/sqoop/lib文件夾下

3導(dǎo)出功能數(shù)據(jù)庫

1)列一mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫命令

#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456

2)連接上mysql并列出來數(shù)據(jù)庫中的表命令

#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456

命令中的test為mysql數(shù)據(jù)庫中的test數(shù)據(jù)庫名稱usernamepassword各為mysql數(shù)據(jù)庫的用戶密碼

3)將關(guān)系型數(shù)據(jù)的表結(jié)構(gòu)剪切粘貼到hive中

sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest

其中--tableusername為mysql中的數(shù)據(jù)庫test中的表--hive-tabletest為hive中剛建的表名稱

4)從關(guān)系數(shù)據(jù)庫文件導(dǎo)入文件到hive中

sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import

5)將hive中的表數(shù)據(jù)導(dǎo)入到mysql中

./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03

如果報(bào)錯(cuò)

11/08/0510:51:22INFORunningjob:job_201108051007_0010

11/08/0510:51:23INFOmap0%reduce0%

11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,Status:FAILED

tojava.util.AbstractList$()

arriveuv_info.__loadFromFields(uv_)

asuv_(uv_)

on()

at()

arrive()

on()

to()

to()

as$()

arrive(Native Method)

at()

as()

at()

此出現(xiàn)錯(cuò)誤的原因?yàn)閟qoop解析文件的字段與MySql數(shù)據(jù)庫的表的字段填寫不上照成的。但需要在負(fù)責(zé)執(zhí)行的時(shí)候給sqoop提升參數(shù)，告知sqoop文件的分隔符，使它還能夠正確的解析文件字段。

hive系統(tǒng)默認(rèn)的字段分隔符為