虛擬機(jī)里hdfs的默認(rèn)名稱怎么看 hive默認(rèn)路徑?
hive默認(rèn)路徑?Hive設(shè)置為存儲(chǔ)路徑:/user/hive/warehouse。但我們也可更改存儲(chǔ)路徑由${HIVE_HOME}/conf/hive-site.xml配置文件的屬性更改,但那樣嚴(yán)重
hive默認(rèn)路徑?
Hive設(shè)置為存儲(chǔ)路徑:/user/hive/warehouse。
但我們也可更改存儲(chǔ)路徑由${HIVE_HOME}/conf/hive-site.xml配置文件的屬性更改,但那樣嚴(yán)重缺乏靈活性。
Hive接受正在建設(shè)表的時(shí)候更改,通過Location去更改,該路徑可以是HDFS上的。
hadoop集群為什么必須要奇數(shù)臺?
有可能確定hdfs設(shè)置塊復(fù)制是3份或zookeeper特別要求3臺以上奇數(shù)臺吧,但偶數(shù)臺是也可以的
hadoop命令及使用方法?
hadoop正確的命令
1、直接關(guān)閉安全模式
hadoopdfsadmin-safemodeleave
2、可以修改根目錄的權(quán)限
hadoopfs-chmod-R777/
3、上傳文件
hadoopfs-putwords.txt/user/words.txt
4、某些文件
5、查看文件
hadoopdfs-cat/user/words.txt
6、一欄當(dāng)前目錄
hadoopdfs-ls/temp202
6、一欄任務(wù)的執(zhí)行日志
yarnlogs-applicationId
7、執(zhí)行hadoop默認(rèn)的demo
hadoopjarjar包路徑功能hadoop存儲(chǔ)的源文件目錄(已未知)hadoop存儲(chǔ)文件的目標(biāo)路徑(執(zhí)行時(shí)自動(dòng)出現(xiàn)創(chuàng)建家族,沒法已必然)
hadoopjarchats/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jarwordcount/user/words.txt/result1
8、格式化hdfs
倉儲(chǔ)行業(yè)目錄標(biāo)準(zhǔn)?
數(shù)據(jù)倉庫目錄規(guī)范
1.數(shù)據(jù)倉庫的根目錄為/warehouse。除此之外數(shù)據(jù)倉庫負(fù)責(zé)人,普通用戶沒法創(chuàng)建數(shù)據(jù)庫,也不能在系統(tǒng)默認(rèn)庫中創(chuàng)建表.
/warehouse的默認(rèn)權(quán)限值改755,所有者是hadoop(或者數(shù)據(jù)倉庫負(fù)責(zé)人),那你沒有人能創(chuàng)建數(shù)據(jù)庫,也不能不能在設(shè)置成庫中創(chuàng)建表.
2.數(shù)據(jù)倉庫負(fù)責(zé)人修改數(shù)據(jù)庫之后,也可以未分配給項(xiàng)目組,該項(xiàng)目組可以不在此數(shù)據(jù)庫成立表.
/warehouse/數(shù)據(jù)庫.db的所有者值改項(xiàng)目組.
3.數(shù)據(jù)倉庫負(fù)責(zé)人創(chuàng)建戰(zhàn)隊(duì)數(shù)據(jù)庫之后,不把創(chuàng)建角色表的權(quán)限賣給項(xiàng)目組,而所遺創(chuàng)建表,只不能項(xiàng)目組插到分區(qū).
數(shù)據(jù)倉庫負(fù)責(zé)人繼續(xù)盡量/warehouse/數(shù)據(jù)庫.db的權(quán)限,項(xiàng)目組不能不能建立起表,數(shù)據(jù)倉庫共同負(fù)責(zé)人為項(xiàng)目組創(chuàng)建家族表之后,把表處的目錄分得項(xiàng)目組.
4.某些表不能本項(xiàng)目組讀寫和查找.
/warehouse/數(shù)據(jù)庫.db/表名的地方的目錄改為770.
5.某些表只能本項(xiàng)目組的普通用戶讀寫.
/warehouse/數(shù)據(jù)庫.db/表名處的目錄的所有者中改此用戶,因此權(quán)限替換成700.
6.項(xiàng)目組的表,必須其它組的而且用戶再插入數(shù)據(jù).
不使用以下的命令可以不user1對dntest.db的表testp1有寫權(quán)限
hdfsdfs-setfacl-muser:user1:rwx/warehouse/cdntest.db/testp1
7.項(xiàng)目組的表,必須其它組的特別用戶有讀到數(shù)據(jù)的權(quán)限.
hdfsdfs-setfacl-muser:user1:r-x/warehouse/cdntest.db/testp1
8.項(xiàng)目組的表,需要其它組的所有用戶有讀到數(shù)據(jù)的權(quán)限.
hdfsdfs-setfacl-mgroup:group1:r-x/warehouse/cdntest.db/testp1
9.創(chuàng)建角色設(shè)置數(shù)據(jù)庫,此數(shù)據(jù)庫所有用戶都有修改表的權(quán)限,但只存放30天.
/warehouse/tmp.db的權(quán)限轉(zhuǎn)成777,另外設(shè)置里定時(shí)任務(wù)掃描該目錄及hive數(shù)據(jù)庫。如果沒有有創(chuàng)建時(shí)間將近60天的表,刪掉表及所在的位置目錄。