如何在批量hbase导入之后从sqoop获取hfile？

yiytaume 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(380)

我使用sqoop进行批量hbase导入。我从sqoop使用这个选项： --hbase-bulkload . sqoop将生成hfiles并将hfiles导入我的hbase。我可以从sqoop日志中验证数据是否存在，并尝试从中加载hfile

INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L

然而，在工作完成之后。我试着看那些文件，但它已经不在了。我正在使用此hadoop命令查看文件：

hadoop fs -ls /tmp/sqoop/data

hfile是否存储在其他地方？或者在导入作业后有保留它的选项？
谢谢

hadoop hbase sqoop

来源：https://stackoverflow.com/questions/29925278/how-to-get-the-hfile-from-sqoop-after-bulk-hbase-import

1条答案

按热度按时间

myss37ts1#

我已经使用sqoop本身将数据从oracle导入hbase，导入过程完成后，文件存储在hdfs文件系统中

/home/USERNAME/FILENAME(TABLENAME)

我认为你的hfile也可以存储在同一个概念，所以最好检查一下那里

赞(0）回复(0）举报 2021-06-03

我来回答

如何在批量hbase导入之后从sqoop获取hfile？

1条答案

相关问题

热门标签

最新问答