我想从spark dataframe/dataset传递schema(元数据)作为参数。
我用的是spark 2.x
代码:(示例)
//定义元数据,如下所示。
val df_emp_metadata = StructType(
List(
StructField("emp_id", StringType,true),
StructField("emp_hier_dt",DateType,true),
StructField("dept_id",IntegerType,true)
))
val df_dept_metadata = StructType(
List(
StructField("dept_id", IntegerType,true),
StructField("dept_name",StringType,true)
))
我想在执行spark submit时将df\u emp\u metadata/df\u dept\u metadata作为参数传递,并将其作为下面模式中的变量传递。
val meta_Data = arg(0) //(df_emp_metadata or df_dept_metadata from Spark-Submit)
val readFileIn = spark.sqlContext.read
.format("csv")
.schema($meta_Data)
.load("data/source_file.csv")
spark不允许将Dataframe名称作为参数传递。
请建议在spark/scala编程中是否有其他替代方法。
1条答案
按热度按时间wixjitnu1#
简单
if-else
声明。您可以通过1
以及2
否则。