在sqoop导入或导出期间处理错误记录

bxjv4tth  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(420)

我查看了sqoop导出操作提供的选项,但找不到任何处理不良记录的选项。例如,有时一个字符可能出现在一个巨大的记录集中,其中一个数字是预期的。有没有一种方法可以在sqoop中处理这些场景,而不会使作业失败,也不会在文件中提供坏记录。

6gpjuf90

6gpjuf901#

sqoop目前期望导出的数据是干净的,并且不提供处理损坏数据的工具。在使用sqoop导出数据之前,可以使用mr/pig/hive作业来清理数据。

相关问题