在flume中设置hdfs接收器需要什么hadoopjar依赖关系?

wz1wpwve  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(245)

我使用的是来自probablyfine/flume的flume的docker图像。
我试图配置一个hdfs接收器,我得到了这个关于依赖性的错误。google搜索结果显示我需要包含hadooplibs,但是很多结果都是hadoop1.0有一个hadoop-core-1.0.jar时的旧结果,我可以将它包含在docker图像中。
我试图直接将hadoop2.9bin下载中的jar包含在/share/hadoop/common/中。但是在我的flume\u类路径中包含这些jar是不起作用的。

  1. FLUME_CLASSPATH=/var/tmp/hadoop/common/

我也试过升级一级,只做/hadoop/目录。但以前都是一样的错误:

  1. 2018-01-22 21:49:21,643 (conf-file-poller-0) [ERROR
  2. - org.apache.flume.node.Poll
  3. ingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingProperties
  4. FileConfigurationProvider.java:146)] Failed to start agent because dependencies
  5. were not found in classpath. Error follows.
  6. java.lanat org.apache.flume.sink.hdfs.HDFSEventSink.configure(HDFSEventSink.java
  7. :235)
  8. at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(Abstrac
  9. tConfiguat org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(
  10. Abstractat org.apache.flume.node.PollingPropertiesFileConfigurationProvider$File
  11. WatcherRat java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:51
  12. 1) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
  13. at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.
  14. run(ScheduledThreadPoolExecutor.java:294)va:180)
  15. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor
  16. .java:624)
  17. at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  18. Caused bat java.lang.ClassLoader.loadClass(ClassLoader.java:424)o.SequenceFile$C
  19. ompressiat sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
  20. ... 12 moreg.ClassLoader.loadClass(ClassLoader.java:357)

在docker映像中设置hdfs接收器需要哪些特定的jar依赖文件?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题