在使用springjar tasklet时设置hadoop\u类路径

mutmk8jj 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(375)

我正在使用hadoop jar tasklet：

<hdp:jar-tasklet id="testjob" jar="bhs_abhishek.jar">
</hdp:jar-tasklet>

这个jar当前需要一些类路径上的配置文件，我之前通过这些文件进行了设置 HADAOOP_CLASSPATH 用于通过hadoop jar命令调用的变量。但我找不到办法 HADOOP_CLASSPATH 使用Spring xml . 请就如何实现这一目标或更好的方法提出任何建议。我可以在jar里做些改变。

hadoop spring spring-xd

来源：https://stackoverflow.com/questions/32741585/set-hadoop-classpath-while-using-spring-jar-tasklet

1条答案

按热度按时间

nhaq1z211#

您可以尝试将配置文件添加到xd/config目录，该目录应该位于类路径上。
还有一个xd/config/hadoop-site.xml文件，您可以在其中添加hadoop配置属性。另一种选择是修改xd/config/servers.yml并在下面添加hadoop配置属性 spring:hadoop:config: 就像我们为你做的那样 io.file.buffer.size 在本例中：

---

# Hadoop properties

spring:
  hadoop:
    fsUri: hdfs://hadoop.example.com:8020
    resourceManagerHost: hadoop.example.com
    resourceManagerPort: 8032
    jobHistoryAddress: hadoop.example.com:10020
    config:
      io.file.buffer.size: 4096

---

赞(0）回复(0）举报 2021-05-30

我来回答

在使用springjar tasklet时设置hadoop\u类路径

1条答案

相关问题

热门标签

最新问答