这是一个简单的“如何”问题:我们可以通过com.databricks.spark.csv将数据带到spark环境。我知道如何通过spark创建hbase表,并手动将数据写入hbase表。但是,是否可以通过spark将text/csv/jason文件直接加载到hbase?我看不到有人谈论这件事。所以,只是检查一下。如果可能的话,请引导我到一个好的网站,详细解释scala代码来完成它。
谢谢您,
这是一个简单的“如何”问题:我们可以通过com.databricks.spark.csv将数据带到spark环境。我知道如何通过spark创建hbase表,并手动将数据写入hbase表。但是,是否可以通过spark将text/csv/jason文件直接加载到hbase?我看不到有人谈论这件事。所以,只是检查一下。如果可能的话,请引导我到一个好的网站,详细解释scala代码来完成它。
谢谢您,
1条答案
按热度按时间9jyewag01#
有多种方法可以做到这一点。
spark hbase连接器:
https://github.com/hortonworks-spark/shc
你可以在链接上看到很多例子。
您还可以使用spark core通过hbaseconfiguration将数据加载到hbase。
代码示例:
你也可以用这个
https://github.com/nerdammer/spark-hbase-connector