oozie-worflow，将mapreduce操作配置为仅在一组文件上运行reducer/combiner

vbopmzt1 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(321)

我想在oozie工作流中为现有的mapreducejar（带有mapper、reducer，有时还有combiner）文件配置一个mapreduceaction，这样只在输入文件上运行reducer/combiner。

hadoop mapreduce oozie workflow oozie-coordinator

来源：https://stackoverflow.com/questions/25738627/oozie-worflow-configure-mapreduce-action-to-run-only-reducer-combiner-on-a-set

1条答案

按热度按时间

所有mapreduce作业都必须运行Map阶段，但是您可以让Map程序通过以下方式直接传递数据：
在旧mr api中使用 IdentityMapper 在新的mrapi中，完全不指定mapper类，这将默认为基 Mapper 充当身份Map器的类

赞(0）回复(0）举报 2021-05-30

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 7个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 7个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 7个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 7个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 7个月前