由于bulkload方法完全绕过了写路径,因此wal不会作为进程的一部分写入,因此在区域服务器发生故障/崩溃时,如何恢复bulkload数据?
x8diyxa71#
hbase将数据存储在hfiles中,hfiles是不可变的,并且放在hdfs中,hdfs已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建hfile之前,hbase需要在内存中积累大量的数据,为了在这个过程中实现持久性,hbase使用wal。在这种情况下,在大容量加载中,您不需要wal,因为大容量加载操作直接创建hfiles,并告诉hbase将它们用作数据存储的一部分。
1条答案
按热度按时间x8diyxa71#
hbase将数据存储在hfiles中,hfiles是不可变的,并且放在hdfs中,hdfs已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建hfile之前,hbase需要在内存中积累大量的数据,为了在这个过程中实现持久性,hbase使用wal。在这种情况下,在大容量加载中,您不需要wal,因为大容量加载操作直接创建hfiles,并告诉hbase将它们用作数据存储的一部分。