我正在尝试使用sparkscalaapi读取hbase表。
示例代码:
conf.set("hbase.master", "localhost:60000")
conf.set("hbase.zookeeper.quorum", "localhost")
conf.set(TableInputFormat.INPUT_TABLE, tableName)
val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
println("Number of Records found : " + hBaseRDD.count())
如何添加 where
如果我使用 newAPIHadoopRDD
?
或者我们需要使用任何 Spark Hbase Connector
为了达到这个目的?
我看到了下面的spark hbase连接器,但没有看到任何带有where子句的示例代码。
https://github.com/nerdammer/spark-hbase-connector
1条答案
按热度按时间4jb9z9bj1#
您可以使用hortonworks的shc连接器来实现这一点。
https://github.com/hortonworks-spark/shc
下面是spark 2的代码示例。
然后可以在Dataframe上使用任何方法。前任: