我有几个不同的作业要在hadoop集群上运行。有些需要很少的资源，有些则需要更多的资源，例如内存。我想在我的集群上同时运行这些作业，因为它支持yarn。我想如果我只是将作业提交给集群，那么yarn会自动决定资源需求，不过我想自己指定它。如何使用api或命令行来指定每个作业资源需求？
5f0d552i1#
可以使用jobconf为mapper和reducer设置内存。您可以从命令行或在驱动程序类中执行。在特定的setmemoryformaptask（long mem）和setmemoryforreducetask（long mem）中查找这些属性https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/jobconf.html#setmemoryformaptask（long）有更多信息和用法详细信息。
1条答案
按热度按时间5f0d552i1#
可以使用jobconf为mapper和reducer设置内存。您可以从命令行或在驱动程序类中执行。
在特定的setmemoryformaptask（long mem）和setmemoryforreducetask（long mem）中查找这些属性
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/jobconf.html#setmemoryformaptask（long）有更多信息和用法详细信息。