hbasetestinguility和mapreduce作业

li9yvcax  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(491)

我正在尝试使用hbasetestingutility在扩展tablemapper的非常基本的mapper上运行一个测试。在我的测试类中,我使用 utility.startMiniCluster() 并使用 utility.createTable(tablename_bytes, familyname_bytes) 在设置方法中。
然后使用以下命令启动Map程序:

Job job = new Job(utility.getConfiguration()); //Job.getInstance();
TableMapReduceUtil.initTableMapperJob(tableName, new Scan(),MyBasicHbaseMapper.class,Text.class, Text.class, job);
job.waitForCompletion(true);

这是我得到的错误:

java.io.FileNotFoundException: File does not exist: hdfs://localhost:57276/Users/user1/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar

这个jar文件在 ~/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar .
我做错什么了?

rkttyhzu

rkttyhzu1#

我遇到了一个类似的问题,在我的头撞了几个小时后,终于意识到了解决办法。。。
调用后立即:

utility.startMiniCluster();

援引:

utility.startMiniMapReduceCluster();

方法#startminicluster只启动hbase、hdfs和zookeeper的小型集群。启动mapreduce微型群集需要#startminimapreducecluster!!
顺便说一句,测试处理完成后,请务必调用:

utility.shutdownMiniMapReduceCluster();
utility.shutdownMiniCluster();

相关问题