scala类型参数[org.apache.spark.ml.linalg.vector]不符合方法product的类型参数界限[t< :product]

7rtdyuoh  于 2021-05-22  发布在  Spark
关注(0)|答案(0)|浏览(238)

我需要输出 Dataset[Vector] ,但下面的代码引发了错误。

def main(args: Array[String]) {
    val spark = SparkSession.builder
      .appName("Hello world!")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._
    //blah blah and read data etc. 
    val word2vec = new Word2Vec()
        .setInputCol("value").setOutputCol("vectors")
        .setVectorSize(5).setMinCount(0).setWindowSize(5)
    val dataset = spark.createDataset(data)

    val model = word2vec.fit(dataset)

    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]
    val result = model.transform(dataset).select("vectors")

    val output = result.map(s => Vectors.dense(s.getDouble(1)))
}

启动程序后立即抛出错误:

type arguments [org.apache.spark.ml.linalg.Vector] do not conform to method product's type parameter bounds [T <: Product]
    implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]

你知道怎么解决这个问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题