query hbase与spark hadoop\u home和hadoop.home.dir一起未设置

ht4b089n  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(254)

我试图使用spark查询hbase表,但出现以下错误:
14:08:35.134[main]debug org.apache.hadoop.util.shell-未能检测到有效的hadoop主目录java.io.filenotfoundexception:hadoop\u home和hadoop.home.dir未设置。
我已经在中设置了hadoop\u home。bashrc和echo$hadoop\u home为我提供了路径
我的代码:

  1. object HbaseQuery {
  2. def main(args: Array[String]) {
  3. val sparkConf = new SparkConf().setAppName("HBaseRead").setMaster("local[2]")
  4. val sc = new SparkContext(sparkConf)
  5. val conf = HBaseConfiguration.create()
  6. val tableName = "emp"
  7. System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.6")
  8. conf.set("hbase.zookeeper.quorum", "localhost")
  9. conf.set("hbase.master", "localhost:60000")
  10. conf.set(TableInputFormat.INPUT_TABLE, tableName)
  11. val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
  12. println("Number of Records found : " + hBaseRDD.count())
  13. hBaseRDD.foreach(println)
  14. }
  15. }

我也尝试通过添加export hadoop\u home=“my path”来创建spark-env.sh,但仍然存在同样的问题

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题