我有一个独立的集群(带有ubuntu14.04的虚拟机),使用默认配置安装了apachespark1.6和hadoop2.6.4。运行此命令时一切正常: spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=/home/hduser/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam
然后,我尝试运行此命令,该命令使用hdfs存储中的输入文件: spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=hdfs://localhost:59000/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam
它冻结在: scheduler.TaskSetManager: Finished task 0.0 in stage 2.0 (TID 2) in 135 ms on localhost (1/2)
然后我启用了日志级别 ALL
在spark中再次运行。我注意到以下信息每分钟都在重复: TRACE HeartbeatReceiver: Checking for hosts with no recent heartbeats in HeartbeatReceiver
我从未停止过,我不得不扼杀这个过程。
我要怎么做才能解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!