map和reduce任務(wù)數(shù)量分別是 如何使用hivesever2的日志?
如何使用hivesever2的日志?日志記錄程序運行的過程,是查找問題的利器。蜂箱中有兩種日志1。系統(tǒng)日志,記錄配置單元的運行狀態(tài)和錯誤狀態(tài)。2. 作業(yè)日志,記錄配置單元中作業(yè)執(zhí)行的歷史過程。系統(tǒng)日志
如何使用hivesever2的日志?
日志記錄程序運行的過程,是查找問題的利器。
蜂箱中有兩種日志
1。系統(tǒng)日志,記錄配置單元的運行狀態(tài)和錯誤狀態(tài)。
2. 作業(yè)日志,記錄配置單元中作業(yè)執(zhí)行的歷史過程。
系統(tǒng)日志存儲在哪里?
配置單元日志的存儲條件記錄在hive/conf/hive-log4j.properties文件中,
默認存儲條件:hive.root.logger=警告,博士hive.log.dir=/tmp/${ 用戶名}默認存儲位置hive.log.file=配置單元. log#默認文件名
作業(yè)日志存儲在哪里?
//配置單元運行時結(jié)構(gòu)化日志文件的位置
HIVEHISTORYFILELOC(“配置單元查詢位置“,”/tmp/”系統(tǒng).getProperty(" 用戶名“”,
默認存儲和/tmp/{用戶名}在目錄下。
jdbc連接hiveserver2依賴哪些包?
hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
$HIVEuhome/lib/HIVE-exec-0.11.0.jar
$HIVEuhome/lib/HIVE-jdbc-0.11.jar
$HIVEuhome/lib/HIVE-metastore-0.11.0.jar
$HIVEHOME/lib/HIVE-service-0.11.0.jar
$HIVEuhome/lib/libfb303-0.9.0.jar
$HIVEHOME/lib/commons-logging-1.0.4.jar
$HIVEuHome/lib/slf4j-api-1.6.1。罐子
1。需要安裝Bing、bingchroot和caching nameserver三個包。2編輯配置文件:有三(1)個主要配置文件,分別是/var/named/chroot/etc/命名.conf在這里您需要配置DNS IP、偵聽端口、區(qū)域文件目錄,并允許其他主機使用DNS服務(wù)和緩存。最后,需要定義正向解析區(qū)域和反向解析區(qū)域,并指定正向區(qū)域文件和反向區(qū)域文件的名稱。(2) 兩個區(qū)域文件。文件名由您定義,并且必須與主配置文件中的文件名相同。區(qū)域文件將放在/var/named/chroot/var/named/目錄中,其中有模板。直接復(fù)制。三。重新啟動服務(wù)。重啟服務(wù)失敗一般是配置文件錯誤,而DNS服務(wù)是一項比較難學(xué)的服務(wù),所以建議大家在網(wǎng)上查找更詳細的信息。這就像是對配置文件的詳細解釋。了解配置文件中每個參數(shù)設(shè)置的含義。1HBase:基于Hadoop數(shù)據(jù)庫,是NoSQL數(shù)據(jù)庫;HBase表是物理表,適合存儲非結(jié)構(gòu)化數(shù)據(jù)。
2. Hive:它不存儲數(shù)據(jù),而是依賴HDFS和MapReduce,通過SQL計算和處理HDFS上的結(jié)構(gòu)化數(shù)據(jù);Hive中的表是純邏輯表。
這兩者通常一起使用。
1. HBase:實時隨機查詢海量詳細數(shù)據(jù),存儲采集到的web數(shù)據(jù);
2。配置單元:適用于離線批量數(shù)據(jù)計算,一般用于查詢分析和統(tǒng)計。