我需要在intellijidea上为sparkscala应用程序运行junit测试用例。默认情况下，作业使用一个执行器运行。我的机器有4个机芯。我能把遗嘱执行人的人数增加到4人吗？如果是，那怎么办？
xtfmy6hx1#
通常你不会这样做，即使它可能使用Spark独立或Yarn。你有一台机器，所以你应该用 local 单元测试的模式。你可以用 spark.master = local[4] 或者 local[*] . 在这种情况下，您仍将有1个执行器，但有4个可以并行处理任务的核心。对于单元测试，这通常就足够了。
local
spark.master = local[4]
local[*]
1条答案
按热度按时间xtfmy6hx1#
通常你不会这样做，即使它可能使用Spark独立或Yarn。你有一台机器，所以你应该用
local单元测试的模式。你可以用
spark.master = local[4]或者local[*]. 在这种情况下，您仍将有1个执行器，但有4个可以并行处理任务的核心。对于单元测试，这通常就足够了。