hbase和hadoop的關(guān)系 HBase合并storefile的原因是什么?在合并的過程中會做什么操作?
HBase合并storefile的原因是什么?在合并的過程中會做什么操作?合并存儲文件的過程稱為比較過程。主要過程是合并memstore的flush操作生成的部分或全部storefile。主要功能如下
HBase合并storefile的原因是什么?在合并的過程中會做什么操作?
合并存儲文件的過程稱為比較過程。主要過程是合并memstore的flush操作生成的部分或全部storefile。主要功能如下:
1)合并文件。因為flush的觸發(fā)器是針對所有memstore的,所以緩存一些memstore flush(記錄很少)的結(jié)果是大量的小文件。壓縮操作可以合并這些小文件,以降低storefile的維護成本。
2)清除數(shù)據(jù)的已刪除、過期和冗余版本。由于HBase中寫入的所有數(shù)據(jù)都不能修改,所以數(shù)據(jù)的修改操作是添加一條新記錄,原始數(shù)據(jù)仍然保存在storefile中;而刪除操作是添加一個刪除標識符。緊湊的操作可以整合這些信息,減少磁盤空間的占用。
3)提高讀寫數(shù)據(jù)的效率。