从json文件读取逻辑并使用sparkscala应用特定逻辑的最佳方法

oalqel3c  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(253)

我有一个通过读取 JSON 文件。现在我有了 config 如下所示:

{
"sourceField":"id",
"transformLogic":"where id>=10"
"targetField":"patientId"
}

所以,我读了这个配置文件,取了 transformLogic 字段,并使用sparksql生成查询,并针对初始jsonDataframe执行它。但是,我并不满意,因为 transformLogic 是我硬编码的,应该是动态的。它类似于读取配置文件,针对 sourceField 它应该反映在转换后的Dataframe中的目标字段中。我怎样才能使它变得动态 sourceField 以及 targetField 我需要一些建议来实施这个方法。我可以处理编码部分。我希望我能清楚地解释我的问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题