sqoop如何获取vcores来执行。我提交了一个带有4个Map器的sqoop作业，应用程序从1个vcore开始，即使有大约50个vcore可用。所以没有parellization。这是一个导入sqoop作业到文本文件中。这些是Yarn中有关vcrore分配的配置参数。sqoop作业如何获取vcore来执行？
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>4</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
<source>yarn-default.xml</source>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.scheduler.increment-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>
1条答案
按热度按时间afdcj2ne1#
从https://sqoop.apache.org/docs/1.4.6/sqoopuserguide.html#_controlling_parallelism
sqoop从大多数数据库源并行导入数据。可以使用-m或--num mappers参数指定要用于执行导入的Map任务（并行进程）的数量。
Map任务与Map到vCore相同。