我正在尝试读取spark中的一个大hbase表（大小约为100gb）。
spark版本：1.6
spark提交参数：
spark-submit --master yarn-client --num-executors 10 --executor-memory 4G
--executor-cores 4
--conf spark.yarn.executor.memoryOverhead=2048错误：executorlostfailure原因：容器因超出限制而被Yarn杀死。4.5gb 3gb物理内存使用限制。考虑将spark.yarn.executor.memoryoverhead提升。
我试过设置 spark.yarn.executor.memoryOverhead 至 100000 . 仍然有类似的错误。
我不明白，如果内存不足或者是Yarn造成的问题，为什么spark不会溢出到磁盘上。
1条答案
按热度按时间mqxuamgl1#
请分享你的代码如何尝试阅读。以及您的集群体系结构
集装箱因超限而被Yarn杀死。4.5gb 3gb物理内存使用限制
尝试
如果你有128克
情况很清楚，你的内存用完了，试着用一种磁盘友好的方式重写你的代码。