我正在尝试将jdbc表读入sparkDataframe。通常我们会这样做。

val sparkSessionBuiltObject: SparkSession = SparkSession.builder.config(customconfig)
    .master("local[*]")
    .appName("Application")
    .getOrCreate()

 sparkSessionBuiltObject.read
    .jdbc(s"jdbc:sqlserver://localhost:1433;databaseName=dbname",
          sourceTable,
          jdbcConnectionProperties)

在使用casssandra连接器或s3时，我们可以在spark conf中设置主机和身份验证，并使用该配置构建spark会话，如下所示

generatedSparkConf.set("spark.cassandra.connection.host", "cassandra_host")
          .set("spark.cassandra.auth.username", "cassandra_username")
          .set("spark.cassandra.auth.password", "cassandra_password")

val sparkSessionBuiltObject: SparkSession = SparkSession.builder.config(customconfig)
    .master("local[*]")
    .appName("Application")
    .getOrCreate()

或

generatedSparkConf.set("fs.s3a.connection.ssl.enabled",value = "false")
              .set("fs.s3a.endpoint","s3.endpoint")
              .set("fs.s3a.access.key","s3.accessKey")
              .set("fs.s3a.secret.key","s3.secretKey")

有没有办法在中指定jdbc uri和auth\u选项 spark.conf 这样spark就可以自动拾取它们。