你可以打电话 dropDuplicates 在排序的数组列上：

val df2 = df.withColumn(
    "arr", 
    sort_array(array(col("col1"), col("col2")))
).dropDuplicates("arr").drop("arr")

df2.show
+----+----+
|col1|col2|
+----+----+
|   2|   3|
|   1|   2|
|   7|   0|
+----+----+

你可以用 row_number 隔着Windows的 least 以及 greatest 值来自 col1 以及 col2 :

import org.apache.spark.sql.expressions.Window

val w = Window
  .partitionBy(least($"col1", $"col2"), greatest($"col1", $"col2"))
  .orderBy(lit(null))

val df1 = df
  .withColumn("rn", row_number().over(w))
  .filter("rn = 1")
  .drop("rn")

df1.show
//+----+----+
//|col1|col2|
//+----+----+
//|   2|   3|
//|   1|   2|
//|   7|   0|
//+----+----+

也可以按排序的数组列进行分区：

val w = Window
  .partitionBy(array_sort(array($"col1", $"col2")))
  .orderBy(lit(null))