需要使用spark对配置单元表列应用转换

ndh0cuux  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(147)

我需要从一列(配置单元表)中提取数据并插入到另一个派生列中(请查找下面的配置文件数据)。

表\列\名称、搜索\文本、替换\为、派生\列\名称

number,1,down,derived\u column1 number,2,degraded,derived\u column1 number,3,normal,derived\u column1 number,4,low,derived\u column12 number,0,mmediate,derived\u column2
我正在使用sparkDataframe。如果我试图动态生成df.withcolumn(when条件的字符串),则使用给定的配置文件。是否有一种方法可以执行动态生成的代码。例如,假设我在配置文件上使用循环创建了以下字符串。
res1:string=.withcolumn(“派生列1”,当(col(“number”)==“1”,“down”)。当(col(“number”)==“2”,“degraded”)。当(col(“number”)==“3”,“normal”)。当(col(“number”)==“4”,“low”)。当(col(“number”)==“0”,“immediate”)。否则(col(“number”))
现在我想知道是否有一种方法可以将这个withcolumn生成的字符串应用于dataframe示例。测向res1
请让我知道,如果这是可能的或有更好的方式做这件事。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题