使用sqoop将数据复制到s3时出错

djmepvbi  于 2021-06-03  发布在  Sqoop
关注(0)|答案(0)|浏览(308)

我使用sqoop通过以下命令将postgres表复制到s3

sqoop import -m 1 --connect jdbc:postgresql://xx.us-west-2.rds.amazonaws.com:5432/prod_db --username user_ro --password user_pwd --table content --target-dir s3://test/user/sqoop_test --as-avrodatafile

这是第一次。在下一次执行之前,我使用以下命令删除了目标目录:

aws s3 rm s3://test/user/sqoop_test

下一次执行sqoop将导致以下错误:

18/07/21 05:31:53 ERROR tool.ImportTool: Encountered IOException running import job: com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException: Directory 'user/sqoop_test' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:453)
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:380)

我也尝试过先执行“emrfs delete…”,然后执行“emrfs import…”和“emrfs sync..”,但这无助于解决问题。任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题