我想从spark dataframe/dataset(dataframe name作为参数)传递schema(元数据)作为参数

xxhby3vn  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(675)

我想从spark dataframe/dataset传递schema(元数据)作为参数。
我用的是spark 2.x
代码:(示例)
//定义元数据,如下所示。

val df_emp_metadata = StructType(
  List(
    StructField("emp_id", StringType,true),
    StructField("emp_hier_dt",DateType,true),
    StructField("dept_id",IntegerType,true)
  ))

val df_dept_metadata = StructType(
  List(
    StructField("dept_id", IntegerType,true),
    StructField("dept_name",StringType,true)
  ))

我想在执行spark submit时将df\u emp\u metadata/df\u dept\u metadata作为参数传递,并将其作为下面模式中的变量传递。

val meta_Data = arg(0)  //(df_emp_metadata or df_dept_metadata from Spark-Submit)

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema($meta_Data)
    .load("data/source_file.csv")

spark不允许将Dataframe名称作为参数传递。
请建议在spark/scala编程中是否有其他替代方法。

wixjitnu

wixjitnu1#

简单 if-else 声明。您可以通过 1 以及 2 否则。

val argument = arg(0)

val schema = if (argument == "1") df_emp_metadata else df_dept_metadata 

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema(schema)
    .load("data/source_file.csv")

相关问题