我想知道是否有可能编写一个在hbase上进行大容量加载的java程序。我在hadoop集群上,但出于某种原因,我不需要编写mapreduce作业。谢谢
yk9xbfzb1#
bulkload与hfile一起工作。因此,如果您有hfiles,您可以直接使用loadincrementalhfiles来处理批量加载。通常我们使用map-reduce,它可以将数据转换成上述格式,并执行批量加载。如果您有csv文件,可以使用importtsv实用程序将数据处理到hfiles中。使用此链接,以获取更多信息,这取决于您的数据当前的格式。需要注意的是,批量加载时,不要使用预写日志(wal)。他们跳过这一步,以更快的速度添加数据。如果您有任何依赖于上述wal的其他框架,请考虑在hbase中添加数据的其他选项。快乐的编码。
1条答案
按热度按时间yk9xbfzb1#
bulkload与hfile一起工作。因此,如果您有hfiles,您可以直接使用loadincrementalhfiles来处理批量加载。通常我们使用map-reduce,它可以将数据转换成上述格式,并执行批量加载。如果您有csv文件,可以使用importtsv实用程序将数据处理到hfiles中。使用此链接,以获取更多信息,这取决于您的数据当前的格式。需要注意的是,批量加载时,不要使用预写日志(wal)。他们跳过这一步,以更快的速度添加数据。如果您有任何依赖于上述wal的其他框架,请考虑在hbase中添加数据的其他选项。快乐的编码。