geomesa on hbase更快导入

lf5gs5x2  于 2021-06-08  发布在  Hbase
关注(0)|答案(1)|浏览(527)

我在hbase v1.2.6上使用geomesa v1.4.0。目前,我正在hbasequickstart类的帮助下导入和索引我的数据。不幸的是,大文件的运行时间非常长。有人知道geomesa的大负载加速了我的进程吗?提前谢谢!

jdgnovmf

jdgnovmf1#

geomesa通过二进制分发命令行工具提供了开箱即用的摄取功能。您必须定义一个“转换器”文件,该文件具有从输入文件到简单功能类型的Map。一旦你有了它,你就可以用多个线程在本地运行,或者用map/reduce远程运行。accumulo命令的文档在这里,hbase命令的工作原理相同,但参数略有不同。关于安装hbase工具的文档在这里。
如果您想保留java摄取代码,那么您需要做一些定制的事情。这里有一个编写map reduce ingestion的示例。

相关问题