我需要在aws s3和本地hdfs之间复制文件,我尝试使用distcp java api,但问题是在distcp的末尾,它名为system.exit(),它也停止了我的应用程序,因此如果我要复制多个文件夹/文件,并且我使用了多个线程,则每个线程执行一个distcp命令,完成distcp的第一个线程将停止应用程序,从而停止distcp的其余部分,是否有其他方法可以避免这种情况,我知道我可以写我自己的mr作业来做复制,但想知道是否有其他的选择
我的代码:
List<Future<Void>> calls = new ArrayList<Future<Void>>();
for (String dir : s3Dirs) {
final String[] args = new String[4];
args[0] = "-log";
args[1] = LOG_DIR;
args[2] = S3_DIR;
args[3] = LOCAL_HDFS_DIR
calls.add(_exec.submit(new Callable<Void>() {
@Override
public Void call() throws Exception {
try {
DistCp.main(args); <-- Distcp command
} catch (Exception e) {
System.out.println("Failed to copy files from " + args[2] + " to " + args[3]);
}
return null;
}
}));
}
for (Future<Void> f : calls) {
try {
f.get();
} catch (Exception e) {
LOGGER.error("Error while distcp", e);
}
}
distcp main()
public static void main(String argv[]) {
int exitCode;
try {
DistCp distCp = new DistCp();
Cleanup CLEANUP = new Cleanup(distCp);
ShutdownHookManager.get().addShutdownHook(CLEANUP,
SHUTDOWN_HOOK_PRIORITY);
exitCode = ToolRunner.run(getDefaultConf(), distCp, argv);
}
catch (Exception e) {
LOG.error("Couldn't complete DistCp operation: ", e);
exitCode = DistCpConstants.UNKNOWN_ERROR;
}
System.exit(exitCode); <--- exit here
}
1条答案
按热度按时间ecbunoof1#
我以前使用过distcp,从未遇到过system.exit()问题,即使是多线程。尝试使用toolrunner来调用distcp调用(就像hadoop tools包中的distcp测试用例一样),而不是像那样使用distcp。distcp测试用例使用toolrunner来运行distcp,它允许您使用多个线程来运行distcp。我正在复制上面链接中的代码片段: