spark數(shù)據(jù)傾斜的解決方法 為什么運(yùn)行不成功spark？
為什么運(yùn)行不成功spark？原因有很多。您可以比較這兩次運(yùn)行中的所有作業(yè)，找出哪些作業(yè)正在減速，然后詳細(xì)分析它們是由更多輸入、更多輸出還是數(shù)據(jù)傾斜引起的。如果作業(yè)的運(yùn)行時(shí)間基本相同，可能是驅(qū)動(dòng)端的一些
為什么運(yùn)行不成功spark？
原因有很多。您可以比較這兩次運(yùn)行中的所有作業(yè)，找出哪些作業(yè)正在減速，然后詳細(xì)分析它們是由更多輸入、更多輸出還是數(shù)據(jù)傾斜引起的。如果作業(yè)的運(yùn)行時(shí)間基本相同，可能是驅(qū)動(dòng)端的一些代碼占用了大量時(shí)間，也可能是GC造成的。