我使用sqoop通过以下命令将postgres表复制到s3
sqoop import -m 1 --connect jdbc:postgresql://xx.us-west-2.rds.amazonaws.com:5432/prod_db --username user_ro --password user_pwd --table content --target-dir s3://test/user/sqoop_test --as-avrodatafile
这是第一次。在下一次执行之前,我使用以下命令删除了目标目录:
aws s3 rm s3://test/user/sqoop_test
下一次执行sqoop将导致以下错误:
18/07/21 05:31:53 ERROR tool.ImportTool: Encountered IOException running import job: com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException: Directory 'user/sqoop_test' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:453)
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:380)
我也尝试过先执行“emrfs delete…”,然后执行“emrfs import…”和“emrfs sync..”,但这无助于解决问题。任何帮助都将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!