flinkml 0.10.1训练用稀疏向量多元线性回归

7z5jn7bk 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(552)

全部，
我试图通过如下所述的线性回归来测试flink ml 0.10.1：
https://ci.apache.org/projects/flink/flink-docs-master/libs/ml/multiple_linear_regression.html
我使用SparseVector而不是densevector，但是在尝试训练模型时遇到了这个问题：

java.lang.IllegalArgumentException: axpy only supports adding to a dense vector but got type class org.apache.flink.ml.math.SparseVector.
    at org.apache.flink.ml.math.BLAS$.axpy(BLAS.scala:60)
    at org.apache.flink.ml.optimization.GradientDescent$$anonfun$org$apache$flink$ml$optimization$GradientDescent$$SGDStep$2.apply(GradientDescent.scala:181)
    at org.apache.flink.ml.optimization.GradientDescent$$anonfun$org$apache$flink$ml$optimization$GradientDescent$$SGDStep$2.apply(GradientDescent.scala:177)
    at org.apache.flink.api.scala.DataSet$$anon$7.reduce(DataSet.scala:583)
    at org.apache.flink.runtime.operators.chaining.ChainedAllReduceDriver.collect(ChainedAllReduceDriver.java:93)
    at org.apache.flink.runtime.operators.MapDriver.run(MapDriver.java:97)
    at org.apache.flink.runtime.operators.BatchTask.run(BatchTask.java:489)
    at org.apache.flink.runtime.iterative.task.AbstractIterativeTask.run(AbstractIterativeTask.java:144)
    at org.apache.flink.runtime.iterative.task.IterationIntermediateTask.run(IterationIntermediateTask.java:92)
    at org.apache.flink.runtime.operators.BatchTask.invoke(BatchTask.java:354)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:584)
    at java.lang.Thread.run(Thread.java:745)

flinkml mlg不支持sparsevector吗？

apache-flink flinkml vector sparse-matrix logistic-regression

来源：https://stackoverflow.com/questions/35185962/flinkml-0-10-1-multiple-linear-regression-with-sparse-vectors-for-training

2条答案

按热度按时间

9fkzdhlc1#

问题是 GradientDescent 实现期望梯度向量的和是稠密的。这不是一个很强的限制，因为对一组稀疏向量求和的结果不必再次稀疏。此外，通常更有效的方法是将第一个梯度向量转换为密集向量，然后向其添加以下稀疏梯度向量，而不是始终添加2个稀疏向量。
我已打开一个请求来解决此问题。它应该在未来几天合并。

赞(0）回复(0）举报 2021-06-24

cwxwcias2#

我查了来源，看起来是这样的。这里有一个类型的显式检查，如果左向量稀疏，则会导致错误。这段代码真的很难看，所以它可能只是一个临时版本，会随着时间的推移而改进。你应该在邮件列表上指出，或者在jira上打开一个问题。

赞(0）回复(0）举报 2021-06-24