我需要输出 Dataset[Vector]
,但下面的代码引发了错误。
def main(args: Array[String]) {
val spark = SparkSession.builder
.appName("Hello world!")
.master("local[*]")
.getOrCreate()
import spark.implicits._
//blah blah and read data etc.
val word2vec = new Word2Vec()
.setInputCol("value").setOutputCol("vectors")
.setVectorSize(5).setMinCount(0).setWindowSize(5)
val dataset = spark.createDataset(data)
val model = word2vec.fit(dataset)
implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]
val result = model.transform(dataset).select("vectors")
val output = result.map(s => Vectors.dense(s.getDouble(1)))
}
启动程序后立即抛出错误:
type arguments [org.apache.spark.ml.linalg.Vector] do not conform to method product's type parameter bounds [T <: Product]
implicit val vectorEncoder: Encoder[Vector] = org.apache.spark.sql.Encoders.product[Vector]
你知道怎么解决这个问题吗?
暂无答案!
目前还没有任何答案,快来回答吧!