我试图使用spark查询hbase表,但出现以下错误:
14:08:35.134[main]debug org.apache.hadoop.util.shell-未能检测到有效的hadoop主目录java.io.filenotfoundexception:hadoop\u home和hadoop.home.dir未设置。
我已经在中设置了hadoop\u home。bashrc和echo$hadoop\u home为我提供了路径
我的代码:
object HbaseQuery {
def main(args: Array[String]) {
val sparkConf = new SparkConf().setAppName("HBaseRead").setMaster("local[2]")
val sc = new SparkContext(sparkConf)
val conf = HBaseConfiguration.create()
val tableName = "emp"
System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.6")
conf.set("hbase.zookeeper.quorum", "localhost")
conf.set("hbase.master", "localhost:60000")
conf.set(TableInputFormat.INPUT_TABLE, tableName)
val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
println("Number of Records found : " + hBaseRDD.count())
hBaseRDD.foreach(println)
}
}
我也尝试通过添加export hadoop\u home=“my path”来创建spark-env.sh,但仍然存在同样的问题
暂无答案!
目前还没有任何答案,快来回答吧!