这就是我们在Spark DataFrames上使用**的方式：

val dfWithNewCol = df
  .withColumn("new_col", when(col("colA") === "X","valueX")
  .when(col("colB") === "Y","valueY")
  .otherwise("Unknown"))

你应该比较列。在你的情况下你比较
df.schema.simpleString().find("fields_acceptance_criteria$394") == -1
它不遵守条件（col（A）== X）
编辑：另一种方法
它可以避免使用时，否则使用过滤器代替。这里有一个例子，你可以从中得到启发，以获得解决方案。当然，在过滤器中，你可以使用行验证的方法。

val data    = Seq((1.0, 2.0, 3.0, 4.0, 3.0), (6.0, 7.0, 8.0, 1.0, 2.0), (2.0, 4.0, 6.0, 8.0, 5.0))
val columns = List("col1", "col2", "col3", "col4", "col5")
val df      = sparkSession.createDataFrame(data).toDF(columns: _*)
df.show()

+----+----+----+----+----+
|col1|col2|col3|col4|col5|
+----+----+----+----+----+
| 1.0| 2.0| 3.0| 4.0| 3.0|
| 6.0| 7.0| 8.0| 1.0| 2.0|
| 2.0| 4.0| 6.0| 8.0| 5.0|
+----+----+----+----+----+

我们将添加一个名为newCol的新列，它包含两个不同的值OK（当一行包含1.0时）和KO（当一行不包含1.0时）
为了做到这一点，我们将创建两个dataframe应用过滤器

val df1 = df.filter(row => row.toString().contains("1.0")).withColumn("newCol", lit("OK"))
df1.show()

+----+----+----+----+----+------+
|col1|col2|col3|col4|col5|newCol|
+----+----+----+----+----+------+
| 1.0| 2.0| 3.0| 4.0| 3.0|    OK|
| 6.0| 7.0| 8.0| 1.0| 2.0|    OK|
+----+----+----+----+----+------+

val df2 = df.filter(row => !row.toString().contains("1.0")).withColumn("newCol", lit("KO"))
df2.show()

+----+----+----+----+----+------+
|col1|col2|col3|col4|col5|newCol|
+----+----+----+----+----+------+
| 2.0| 4.0| 6.0| 8.0| 5.0|    KO|
+----+----+----+----+----+------+

现在我们将应用union来生成结果：

df1.union(df2).show()

+----+----+----+----+----+------+
|col1|col2|col3|col4|col5|newCol|
+----+----+----+----+----+------+
| 1.0| 2.0| 3.0| 4.0| 3.0|    OK|
| 6.0| 7.0| 8.0| 1.0| 2.0|    OK|
| 2.0| 4.0| 6.0| 8.0| 5.0|    KO|
+----+----+----+----+----+------+