我正在使用 spark-sql-2.4.1v
, spark-cassandra-connector-2.4.1v
使用java。为了将dataframe写入cassandradb,我创建了一个spark
SparkConf conf = new SparkConf(true)
.set("spark.cassandra.connection.host",cassandraConfig.getHosts())
.set( ...).
我正在使用它创建sparksession,如下所示
spark = SparkSession
.builder()
.appName(appName)
.config("spark.master",deploymentMaster)
.config(conf)
.getOrCreate();
我用同样的方法从cassandra表中读取数据。
而不是固定的 SparkConf
,我想动态设置更多的cassandra属性,然后创建sparksession,我想使用它从cassandra表中读取数据。
如何做到这一点?
1条答案
按热度按时间7bsow1i61#
在现有的sqlcontext或sparkcontext中可以通过一些方法设置conf。
要将配置添加到现有sparkcontext:
要将配置添加到现有sqlcontext:
要获取现有sparkconf:
也可以在spark submit中使用