flume的一些问题

83qze16e  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(261)

我有两个cdh4簇。一个是centos 6.4(真实硬件),另一个是ubuntu 12.04(amazon ec2)。
所有配置文件都是手动创建的(使用cloudera manager)。我试着以cloudera twitter为例。当我在centos集群上启动flume时,它不会出现任何问题。但在ubuntu cluster flume上,日志文件中出现了这样的错误:

2013-09-11 15:04:54,491 INFO org.apache.flume.instrumentation.MonitoredCounterGroup: Component type: SINK, name: HDFS started
2013-09-11 15:04:54,527 ERROR org.apache.flume.lifecycle.LifecycleSupervisor: Unable to start EventDrivenSourceRunner: { source:com.cloudera.flume.source.TwitterSource
{name:Twitter,state:IDLE} } - Exception follows.
java.lang.NoSuchMethodError: twitter4j.FilterQuery.setIncludeEntities(Z)Ltwitter4j/FilterQuery;

经过一番谷歌搜索,我在suresh e gopalanaugust于2013年2月20日凌晨2:43发表的评论中找到了这个解决方案
因此,我们有另一个jar文件search-contrib-0.9.1-cdh4.3.0-snapshot-jar-with-dependencies.jar与flume\u classpath中的正确类冲突,将其临时重命名为.org extension,以便在启动时将其从classpath中排除
重命名这个jar之后,flume就开始在ubuntu集群上工作了。在centos集群上,我有相同的jar和相同的类,但不需要重命名。
为什么会发生这种情况?我应该做些什么来改变ubuntu集群中的行为而不需要重命名?

56lgkhnf

56lgkhnf1#

重建flume源代码,不要下载预构建的snapshot.jar

相关问题