我在spark2 submit中以args的形式传递配置文件名。但我得到的文件不存在错误,即使文件存在。如果我硬编码的文件名,它是工作良好。
spark2-submit --files /data/app/Data_validation/target/input.conf --class "QualityCheck" DC_framework-jar-with-dependencies.jar "input.conf"
代码:
import org.apache.spark.SparkFiles
object QualityCheck {
def main(args: Array[String]) : Unit={
val configFile = SparkFiles.get("input.conf")
val conf = new SparkConf().setAppName("Check Global")
val sc = SparkContext.getOrCreate(conf)
val spark = SparkSession.builder.getOrCreate()
println(configFile)
if (file.exists) {
val config = ConfigFactory.parseFile(file)
} else {
println("Configuration file does not exist")
堆栈跟踪:
/data/app/Data_validation/target/input.conf
Configuration file does not exist
Config(SimpleConfigObject({}))
请帮帮我!
1条答案
按热度按时间wvmv3b1j1#
请检查下面的代码。