spark讀hbaseparquet哪個(gè)快？spark讀取HBase時(shí)，生成的任務(wù)數(shù)受查詢表的區(qū)域數(shù)限制。例如，如果查詢40g數(shù)據(jù)，10g數(shù)據(jù)是一個(gè)區(qū)域，則可能有4-6個(gè)區(qū)域。最初的任務(wù)數(shù)量只有大約4

spark讀hbaseparquet哪個(gè)快？

spark讀取HBase時(shí)，生成的任務(wù)數(shù)受查詢表的區(qū)域數(shù)限制。例如，如果查詢40g數(shù)據(jù)，10g數(shù)據(jù)是一個(gè)區(qū)域，則可能有4-6個(gè)區(qū)域。最初的任務(wù)數(shù)量只有大約4-6個(gè)。RDD可以在以后按分區(qū)設(shè)置任務(wù)數(shù)。spark讀取parquet時(shí)，根據(jù)默認(rèn)的bolck數(shù)生成任務(wù)數(shù)，例如128M bolck，幾乎是300多個(gè)任務(wù)。另外，HBase還需要與區(qū)域服務(wù)器交互，將數(shù)據(jù)傳輸?shù)絪park的內(nèi)存中，這也消耗時(shí)間。一般來說，閱讀拼花更快

~]，等等