如何从hdfs上的文件加载typesafe configfactory？

tjrkku2a 于 2021-06-02 发布在 Hadoop

关注(0)|答案(3)|浏览(380)

我正在使用typesafe配置工厂将配置加载到scala应用程序中。我不想将配置文件包含到jar中，而是从外部hdfs文件系统加载它们。但是，我找不到从hadoop获得的fsdatainputstream对象加载配置的简单方法：

//get HDFS file
val hadoopConfig: Configuration = sc.hadoopConfiguration
val fs: FileSystem = org.apache.hadoop.fs.FileSystem.get(hadoopConfig)
val file: FSDataInputStream = fs.open(new Path("hdfs://SOME_URL/application.conf"))
//read config from hdfs
val config: Config = ConfigFactory.load(file.readUTF())

但是，这会抛出一个eofexception。有没有一种简单的方法将fsdatainputstream对象转换为所需的java.io.file？我发现了从fsdatainputstream到fileinputstream的转换，但是对于这样一个简单的任务来说，这将是相当麻烦的。

Java hadoop scala typesafe-config

来源：https://stackoverflow.com/questions/38123764/how-to-load-typesafe-configfactory-from-file-on-hdfs

3条答案

按热度按时间

dgiusagp1#

您应该能够使用以下代码在hdfs中加载.conf文件：

ConfigFactory.parseFile(new File("application.conf"));

请记住.conf文件应该放在与应用程序文件相同的目录下（例如spark中的jar文件）。

赞(0）回复(0）举报 2021-06-02

zdwk9cvp2#

以下是我使用spark应用程序所做的：

/**
    * Load typesafe's configuration from hdfs file location
    * @param sparkContext
    * @param confHdfsFileLocation
    * @return
    */
  def loadHdfsConfig(sparkContext: SparkContext, confHdfsFileLocation: String) : Config = {
    // Array of 1 element (fileName, fileContent)
    val appConf: Array[(String, String)] = sparkContext.wholeTextFiles(confHdfsFileLocation).collect()
    val appConfStringContent = appConf(0)._2
    ConfigFactory.parseString(appConfStringContent)
  }

现在在代码中，使用

val config = loadHdfsConfig(sparkContext, confHdfsFileLocation)
config.getString("key-here")

希望对你有帮助。

赞(0）回复(0）举报 2021-06-02

jgovgodb3#

使用 ConfigFactory.parseReader 应该有效（但我还没有测试）：

val reader = new InputStreamReader(file)
val config = try {
  ConfigFactory.parseReader(reader)
} finally {
  reader.close()
}

赞(0）回复(0）举报 2021-06-02

我来回答

如何从hdfs上的文件加载typesafe configfactory？

3条答案

相关问题

热门标签

最新问答