ApacheSpark冻结在纱上

mgdq6dx1  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(262)

我有一个独立的集群(带有ubuntu14.04的虚拟机),使用默认配置安装了apachespark1.6和hadoop2.6.4。运行此命令时一切正常: spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=/home/hduser/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam 然后,我尝试运行此命令,该命令使用hdfs存储中的输入文件: spark-submit --class org.broadinstitute.hellbender.Main --master yarn --deploy-mode client /home/hadoop/spark.jar MarkDuplicatesSpark --input=hdfs://localhost:59000/data/example.unmarkedDups.bam -M=out_MarkDuplicatesMetrics.txt --output=out_MarkDuplicates.bam 它冻结在: scheduler.TaskSetManager: Finished task 0.0 in stage 2.0 (TID 2) in 135 ms on localhost (1/2) 然后我启用了日志级别 ALL 在spark中再次运行。我注意到以下信息每分钟都在重复: TRACE HeartbeatReceiver: Checking for hosts with no recent heartbeats in HeartbeatReceiver 我从未停止过,我不得不扼杀这个过程。
我要怎么做才能解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题