hive為什么需要mysql hive數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)(mysql),以下說(shuō)法哪些正確?
hive數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)(mysql),以下說(shuō)法哪些正確?給出了一個(gè)實(shí)用的解決方案:1。數(shù)據(jù)可以直接存儲(chǔ)在HDFS中。如果是日志文件,可以通過(guò)flume和其他工具進(jìn)行傳輸。如果數(shù)據(jù)存在于關(guān)系數(shù)據(jù)庫(kù)
hive數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)(mysql),以下說(shuō)法哪些正確?
給出了一個(gè)實(shí)用的解決方案:1。數(shù)據(jù)可以直接存儲(chǔ)在HDFS中。如果是日志文件,可以通過(guò)flume和其他工具進(jìn)行傳輸。如果數(shù)據(jù)存在于關(guān)系數(shù)據(jù)庫(kù)中,可以選擇使用sqoop將其導(dǎo)入hdfs2。數(shù)據(jù)很容易在HDFS上完成。您可以編寫(xiě)Mr或簡(jiǎn)單地使用hive來(lái)計(jì)算統(tǒng)計(jì)結(jié)果。最終結(jié)果數(shù)據(jù)應(yīng)該非常小。三。把上面的結(jié)果數(shù)據(jù)倒回去MySQL(有很多方法可以選擇)做在線查詢(xún)過(guò)來(lái)
1。復(fù)制到HDFS
2。然后用配置單元的外部表創(chuàng)建一個(gè)新表。表生成后,您可以直接選擇查詢(xún),而無(wú)需將其加載到配置單元
例如:
create external table testhivedrivertable(host name,string,logdate)string,type string,class string,demo array
mysql導(dǎo)入到hivehdfs上顯示又?jǐn)?shù)據(jù)了hive表里面什么都沒(méi)有?
for i in`cat配置單元.txt`MySQL-uroot-P passwd-e“顯示數(shù)據(jù)庫(kù)”嗎