我正在尝试使用mapreduce将数据写入accumulo的表中。下面是我的accumulo mapreduce代码。
Job job = Job.getInstance(conf);
AccumuloOutputFormat.setZooKeeperInstance(job, accumuloInstance, zooKeepers);
AccumuloOutputFormat.setDefaultTableName(job, accumuloTableName);
AccumuloOutputFormat.setConnectorInfo(job, accumuloUser, new PasswordToken(accumuloPassword));
执行时,出现以下异常:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/thrift/TException
at org.apache.accumulo.core.client.mapreduce.lib.util.ConfiguratorBase.setConnectorInfo(ConfiguratorBase.java:107)
at org.apache.accumulo.core.client.mapreduce.AccumuloOutputFormat.setConnectorInfo(AccumuloOutputFormat.java:94)
at core.accumulo.mapreduce.AccumuloMapReduceWrite.main(AccumuloMapReduceWrite.java:96)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
我该如何解决这个问题?我已经尝试和裁判几个网址太。但这帮不了什么忙。
1条答案
按热度按时间u4dcyp6a1#
看起来你的工作类路径缺少节俭类。我假设你是在用标准来运行你的工作
hadoop job
命令。在这种情况下,您有两种选择:
手动将必要的jar添加到类路径中。这将是
thrift.jar
,accumulo-start.jar
,accumulo-core.jar
,还有可能accumulo-trace.jar
取决于你的版本。您需要使用-libjars
选项,更全面的阅读,可作为博客文章。使用内置的apache accumulo工具启动作业。大多数accumulo版本都带有一个名为
tool.sh
这将自动为您添加适当的jar。通常在$ACCUMULO_HOME/bin/tool.sh
. 有些发行版可能会称之为其他版本,例如accumulo-tool
,以消除它与其他工具之间的歧义。示例见用户手册(第三个代码块)。