hive的存儲格式parquet和ocfile的區(qū)別？哪里是輸入sqoop導入的目錄？如果在/usr/sqoop下輸入命令，請在/usr/sqoop下輸入hive login，然后顯示要查看的表。哪里

hive的存儲格式parquet和ocfile的區(qū)別？

哪里是輸入sqoop導入的目錄？如果在/usr/sqoop下輸入命令，請在/usr/sqoop下輸入hive login，然后顯示要查看的表。

哪里是輸入sqoop導入的目錄？如果在/usr/sqoop下輸入命令，請在/usr/sqoop下輸入hive login，然后顯示要查看的表。蜂巢0.13后的支持。

如何把文本文件，直接轉parquet？

文本文件直接到拼花可以跳過不合格的數(shù)據(jù)，只讀取所需的數(shù)據(jù)，減少IO數(shù)據(jù)量，壓縮編碼可以減少磁盤存儲空間。由于同一列的數(shù)據(jù)類型是相同的，因此可以使用更有效的壓縮編碼（例如runlengthecoding和deltaencoding）來進一步節(jié)省存儲空間。只有對需要讀取的列進行支持向量運算，才能獲得更好的掃描性能。拼花是基于googledremel系統(tǒng)的數(shù)據(jù)模型和算法。其核心思想是用“記錄隱藏嵌套數(shù)據(jù)層次”來表示復雜的嵌套數(shù)據(jù)類型，同時輔以高效的壓縮和列編碼技術來減少內(nèi)存。在Avro之前，Avro被用來在新的統(tǒng)計系統(tǒng)中序列化和存儲日志?？紤]到parquet的優(yōu)點和與Avro的兼容性，將HDFS上的存儲格式改為paruqet，只需少量的工作，利用原來讀取Avro的API來讀取parquet，提高了近一個數(shù)量級。拼花文件的尾部存儲了文件的元數(shù)據(jù)信息和統(tǒng)計信息，具有自描述性，易于解析

并且可以進行優(yōu)化。我們最近正在做的是使用三個具有30g內(nèi)存和12核的虛擬機。對于6.14億個數(shù)據(jù)（MySQL為130g，parquet為30g），對某個字段計數(shù)（distinct）進行多字段組聚合大約需要30秒，而普通查詢大約需要2秒。所以我認為在您的情況下，還有很大的優(yōu)化空間

不可能通過減少輸出將數(shù)據(jù)輸出到多個目錄。您可以將reduce的輸出設置為no output。您可以在reducer類的configure（）方法中創(chuàng)建一個將數(shù)據(jù)輸出到HDFS的流，然后在reduce（）方法中將數(shù)據(jù)輸出到HDFS流，最后在close（）方法中關閉輸出流