spark dataframe返回空数组< array< string>>并将其写入kafka而不是[null]scala

voj3qocg  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(384)

我有以下问题,我正试图通过spark streaming写入一个数组。
我的处理结果返回一个null[null]数组,要删除它,我遵循以下步骤,因此可以返回一个空数组。
将空值转换为sparkDataframe中的空数组

  1. import org.apache.spark.sql.functions.udf
  2. val empty_array = udf(() => Array(Array("")))
  3. df
  4. .withColumn("myColumn", coalesce(col("myColumn"), empty_array()))

写入kafka的结果(包含列名作为键,结果作为值的键值)如下所示:

  1. empty_column: [[null],[null],[null]]

我期待着像这样的事情 [[]] 或者 [[""]] 如果不清楚的话,我可以提供更多细节。
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题