我的问题是有多少默认Map器和还原器工作，一个雇主问我说默认Map器4，还原器1，什么是sqoop默认Map器
3b6akqbq1#
默认情况下，sqoop运行4个Map器，可以用 -m 或者 --num-mappers 旗帜。如果要导入的表不包含主键或没有 --split-by 在中设置选项 sqoop 命令，则它必须是单个Map任务。显式设置 -m 1 或者 --autoreset-to-one-mapper 只运行一个Map任务。注意：sqoop只运行map-only作业（没有reducer）。在典型的mapreduce作业中，Map器的数量将取决于输入（及其文件格式），并且还原器的数量默认为1。为了 Distcp 作业，Map任务的数量将等于文件的数量。
-m
--num-mappers
--split-by
sqoop
-m 1
--autoreset-to-one-mapper
Distcp
1条答案
按热度按时间3b6akqbq1#
默认情况下，sqoop运行4个Map器，可以用
-m或者--num-mappers旗帜。如果要导入的表不包含主键或没有
--split-by在中设置选项sqoop命令，则它必须是单个Map任务。显式设置-m 1或者--autoreset-to-one-mapper只运行一个Map任务。注意：sqoop只运行map-only作业（没有reducer）。
在典型的mapreduce作业中，Map器的数量将取决于输入（及其文件格式），并且还原器的数量默认为1。
为了
Distcp作业，Map任务的数量将等于文件的数量。