我有以下问题,我正试图通过spark streaming写入一个数组。
我的处理结果返回一个null[null]数组,要删除它,我遵循以下步骤,因此可以返回一个空数组。
将空值转换为sparkDataframe中的空数组
import org.apache.spark.sql.functions.udf
val empty_array = udf(() => Array(Array("")))
df
.withColumn("myColumn", coalesce(col("myColumn"), empty_array()))
写入kafka的结果(包含列名作为键,结果作为值的键值)如下所示:
empty_column: [[null],[null],[null]]
我期待着像这样的事情 [[]]
或者 [[""]]
如果不清楚的话,我可以提供更多细节。
谢谢您
暂无答案!
目前还没有任何答案,快来回答吧!