正如您提到的，不允许使用索引访问sparkDataframe。下面是一个使用scala sparkDataframe的解决方案：

var sets = List(Set(1, 5, 7, 4), Set(3, 5, 0), Set(10, 1, 5)).toDF("sets")
    .withColumn("i",monotonically_increasing_id()) // to create indexes

val jaccardSimUDF = udf((set1: Seq[Int], set2: Seq[Int]) => set1.sum +  set2.sum) // dummy function, replace it with your implementation of Jaccard similarity

val resDF = sets.crossJoin(sets.withColumnRenamed("sets", "sets2").withColumnRenamed("i", "j"))
                .withColumn("jaccardSim", jaccardSimUDF($"sets", $"sets2"))

基本上，我们需要对Dataframe本身进行交叉连接，以获得所有的组合。然后我们可以应用“用户定义函数”（udf）来计算jaccard相似性。注意，为了方便起见，我创建了索引。
现在，如果你真的想有一个矩阵，你将需要重塑这个Dataframe，但这不是Spark的本质。
正如注解中所指出的，jaccard相似性函数是对称的，因此可以过滤不必要的索引，如下所示：

val resDF = sets.crossJoin(sets.withColumnRenamed("sets", "sets2").withColumnRenamed("i", "j"))
            .filter($"i" < $"j")
            .withColumn("jaccardSim", jaccardSimUDF($"sets", $"sets2"))

它可能看起来很难看，因为它仍然涉及一个完整的交叉连接，但由于spark依赖于懒惰的计算和CatalystOptimizer，它实际上并不是一个完整的交叉连接。所以我不认为有更好的解决办法。