我们能从一个spark会话连接到bigtable和hive吗？

bvuwiixz 于 2021-06-24 发布在 Hive

关注(0)|答案(1)|浏览(328)

下面是我的例子https://github.com/googlecloudplatform/cloud-bigtable-examples/tree/master/scala/bigtable-shc 从使用spark的scala应用程序连接到bigtable。我们在地面军事系统中有一些数据，我们使用hive连接到这些数据。我们需要能够连接到hive并获取数据并将其写入bigtable。
我在hbase-site.xml文件中添加了bigtable的配置。我在启动spark会话时向配置中添加了配置单元属性。spark会话能否同时连接到两个不同的数据源？

Hive scala apache-spark google-cloud-bigtable

来源：https://stackoverflow.com/questions/57697379/can-we-connect-to-both-bigtable-and-hive-from-one-spark-session

1条答案

按热度按时间

jhdbpxl91#

我可以连接到Hive和大table。我不得不使用下面的配置。

val spark = SparkSession
    .builder
    .appName(appName)
    .config("spark.sql.warehouse.dir","gs://<bucket-name>/user/hive/warehouse/")
    .enableHiveSupport()
    .getOrCreate

赞(0）回复(0）举报 2021-06-24

我来回答

我们能从一个spark会话连接到bigtable和hive吗？

1条答案

相关问题

热门标签

最新问答