如何使用distcp将数据直接转换为配置单元中的表？

ulydmbyx 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(277)

我正在使用distcp将数据从集群1复制到集群2。我成功地将表数据从集群1复制到集群2中。但是，使用hdfs，数据已发送到文件浏览器。
有没有直接的方法可以使用distcp命令将这个hdfs数据转换成一个配置单元表（包括数据类型、delimeters…等等）？我当然可以查询它来收集来自hdfs的数据，但是我必须一个接一个地转换它们。努力寻找有效的方法。谢谢！
例子：

hadoop distcp hdfs://nn1:8020/source/a hdfs://nn1:8020/source/b hdfs://nn2:8020/destination

hadoop bigdata DistCp

来源：https://stackoverflow.com/questions/33267312/how-to-use-distcp-to-directly-convert-data-into-tables-in-hive

1条答案

按热度按时间

muk1a3rh1#

还没有找到可以直接使用distcp复制表的文档。但是，如果有人正在寻找类似的情况，他们可以使用。为我工作。

--hive
export table <<<table_name>>> to '<<<hdfs path>>>';

# bash/shell

hadoop distcp source desitination 

--hive
import table <<<table_name>> from '<<<hdfs>>>';

赞(0）回复(0）举报 2021-05-30

我来回答

如何使用distcp将数据直接转换为配置单元中的表？

1条答案

相关问题

热门标签

最新问答