如何将hdfs中的配置文件传递给spark应用程序？

ttisahbt 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(403)

我在用spark结构化流媒体。还有，我和 Scala . 我想把配置文件传给我的spark应用程序。此配置文件位于 HDFS . 例如；
spark\u job.conf（hocon）

spark {
  appName: "",
  master: "",
  shuffle.size: 4 
  etc..
}

kafkaSource {
  servers: "",
  topic: "",
  etc..
}

redisSink {
  host: "",
  port: 999,
  timeout: 2000,
  checkpointLocation: "hdfs location",
  etc..
}

如何将其传递给spark应用程序？如何读取此文件( hosted HDFS )Spark？

hadoop apache-spark apache-spark-sql spark-structured-streaming Configuration

来源：https://stackoverflow.com/questions/56021255/how-to-pass-configuration-file-that-hosted-in-hdfs-to-spark-application

1条答案

按热度按时间

z6psavjg1#

您可以通过以下方式从hdfs读取hocon配置：

import com.typesafe.config.{Config, ConfigFactory}
import java.io.InputStreamReader
import java.net.URI
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

val hdfs: FileSystem = FileSystem.get(new URI("hdfs://"), new Configuration())

val reader = new InputStreamReader(hdfs.open(new Path("/path/to/conf/on/hdfs")))

val conf: Config = ConfigFactory.parseReader(reader)

您还可以将namenode的uri传递给 FileSystem.get(new URI("your_uri_here")) 代码仍然会读取您的配置。

赞(0）回复(0）举报 2021-05-29

我来回答

如何将hdfs中的配置文件传递给spark应用程序？

1条答案

相关问题

热门标签

最新问答