hive數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)（mysql），以下說(shuō)法哪些正確？給出了一個(gè)實(shí)用的解決方案：1。數(shù)據(jù)可以直接存儲(chǔ)在HDFS中。如果是日志文件，可以通過(guò)flume和其他工具進(jìn)行傳輸。如果數(shù)據(jù)存在于關(guān)系數(shù)據(jù)庫(kù)

hive數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)（mysql），以下說(shuō)法哪些正確？

給出了一個(gè)實(shí)用的解決方案：1。數(shù)據(jù)可以直接存儲(chǔ)在HDFS中。如果是日志文件，可以通過(guò)flume和其他工具進(jìn)行傳輸。如果數(shù)據(jù)存在于關(guān)系數(shù)據(jù)庫(kù)中，可以選擇使用sqoop將其導(dǎo)入hdfs2。數(shù)據(jù)很容易在HDFS上完成。您可以編寫(xiě)Mr或簡(jiǎn)單地使用hive來(lái)計(jì)算統(tǒng)計(jì)結(jié)果。最終結(jié)果數(shù)據(jù)應(yīng)該非常小。三。把上面的結(jié)果數(shù)據(jù)倒回去MySQL（有很多方法可以選擇）做在線查詢過(guò)來(lái)

1。復(fù)制到HDFS

2。然后用配置單元的外部表創(chuàng)建一個(gè)新表。表建立后，您可以直接選擇查詢，而不必將其加載到配置單元

例如：

創(chuàng)建外部表testhivedrivertable（host name，string，logdate）string，type string，class string，demo array

我想詢問(wèn)原始數(shù)據(jù)庫(kù)中的數(shù)據(jù)是更新還是刪除。如果是這樣，就很難實(shí)時(shí)同步到配置單元。此外，即使可以實(shí)時(shí)同步到hive，hive中的分析和查詢速度也相對(duì)較慢。