基于硬件的apachespark最佳设置

5us2dqdw  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(286)

硬件系统、cpu核心及其相关内存的数量是否Map/转换到以下可调参数:executor memory executor cores num executors应用程序肯定只与这些可调参数有关,不过,我正在寻找一个“基本经验法则”,apachespark在集群模式下用hdfs在yarn上运行。并非spark/hadoop集群中的所有硬件系统都具有相同数量的cpu核或ram。

goucqfw6

goucqfw61#

没有经验法则,但经过考虑
堆外存储器
运行的应用程序和其他hadoop damon的数量
资源管理器需要
hdfs io
等。
您可以导出一个合适的配置。请检查此url

相关问题