1） 您可以使用commons lib。将--jars“公共jar文件的路径”添加到sparkshell或submit
2） 您正在对数据集执行一次传递（加上检查colb并将其复制到cola的固定时间），它应该是o（n）
3） 你的可乐（可能，如果空白）替换为colb从同一行，这是不贵的。我无法确认，但我假设一行的所有数据都驻留在同一个节点中。

scala> val df = Seq(
     |   (null, "A"),
     |   ("", "B"),
     |   (" ", "C"),
     |   ("D", "DB"),
     |   ("E", null)
     | ).toDF("colA","colB")
df: org.apache.spark.sql.DataFrame = [colA: string, colB: string]

scala> df.show
+----+----+
|colA|colB|
+----+----+
|null|   A|
|    |   B|
|    |   C|
|   D|  DB|
|   E|null|
+----+----+

scala> val myudf = udf{(x:String) => org.apache.commons.lang3.StringUtils.isBlank(x)}
myudf: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,BooleanType,Some(List(StringType)))

scala> df.select(when (myudf($"colA"), $"colB").otherwise($"colA") as "colA", $"colB").show(false)
+----+----+
|colA|colB|
+----+----+
|A   |A   |
|B   |B   |
|C   |C   |
|D   |DB  |
|E   |null|
+----+----+