除了检查yarn/mapreduce日志之外，是否还有其他方法可以监视和验证大型hadoop distcp、集群到集群、hdfs拷贝作业(数百万个大小文件，运行时估计：几天，由于虚拟化环境和群集的并行生产使用而改变网络速度）在hdp2.6.1上使用distcpv2和apachehadoop2.7.3
rqcrx0a61#
在distcp命令中使用以下参数将复制状态写入日志：
-log <logdir>
将日志写入distcp将它尝试复制的每个文件的日志作为Map输出保存。如果Map失败，则如果重新执行，则不会保留日志输出。
1条答案
按热度按时间rqcrx0a61#
在distcp命令中使用以下参数将复制状态写入日志：
将日志写入distcp将它尝试复制的每个文件的日志作为Map输出保存。如果Map失败，则如果重新执行，则不会保留日志输出。