hive執(zhí)行作業(yè)時reduce任務(wù)個數(shù)設(shè)置為多少合適？設(shè)置減速器的數(shù)量會極大地影響執(zhí)行效率配置單元執(zhí)行減速機(jī). 字節(jié)/減速機(jī)（默認(rèn)值為1000^3）2配置單元執(zhí)行減速機(jī). max（默認(rèn)值為999）計算

hive執(zhí)行作業(yè)時reduce任務(wù)個數(shù)設(shè)置為多少合適？

設(shè)置減速器的數(shù)量會極大地影響執(zhí)行效率配置單元執(zhí)行減速機(jī). 字節(jié)/減速機(jī)（默認(rèn)值為1000^3）

2配置單元執(zhí)行減速機(jī). max（默認(rèn)值為999）計算減速器數(shù)量的公式非常簡單：n=min（參數(shù)2，總輸入數(shù)據(jù)/參數(shù)1）。通常，需要手動指定減速器的數(shù)量?？紤]到map級的輸出數(shù)據(jù)量通常遠(yuǎn)小于輸入級的數(shù)據(jù)量，即使沒有設(shè)置減速器的數(shù)量，也有必要重置參數(shù)2。根據(jù)Hadoop的經(jīng)驗，參數(shù)2可以設(shè)置為0.95*（集群中tasktracker的數(shù)量）。正確的reduce任務(wù)數(shù)應(yīng)為0.95或1.75×（節(jié)點(diǎn)數(shù)×）mapred.tasktracker.tasks任務(wù). 最大參數(shù)值）