我在启动时使用mesos上的spark（与kafka和cassandra一起），我有很多错误（~100），然后每件事都可以正常工作。错误类型如下：
[阶段0:=======>（24+26）/50][阶段3:>（0+24）/24]15/09/17 09:48:35错误监视器：associationerror[akka。tcp://sparkdriver@10.131.xx.：58325]<-[阿克卡。tcp://driverpropsfetcher@10.131.xx.：59441]：错误[关闭地址：akka。tcp://driverpropsfetcher@10.131.xx.：59441][akka.remote.shutdownsociation:关闭地址：阿克卡。tcp://driverpropsfetcher@10.131.xx.：59441原因：akka.remote.transport.transport$invalidassociationexception:远程系统终止了关联，因为它正在关闭。]
这个错误的原因是什么？我该怎么解决？
1条答案
按热度按时间9udxz4iz1#
原木好像有噪音。
这个问题也发生在cdh5.5.0的spark1.5.0上，cloudera在下面说。
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_rn_spark_ki.html
在Yarn上使用spark时，驱动程序会报告误导性错误消息spark驱动程序会报告误导性错误消息，例如：
错误监视器：associationerror[akka。tcp://sparkdriver@...]->[ akka 。tcp://sparkexecutor@...]：error[与[akka]关联失败。tcp://sparke xecutor@...]][akka.remote.endpointassociationexception:与[akka.com]的关联失败。tcp://sparkexecutor@...]]
解决方法：向spark log4j配置文件添加以下属性：log4j.logger.org.apache.spark.rpc.akka.errormonitor=fatal。请参阅配置spark应用程序日志记录属性。