我目前在matlab中有几个算法,我正在寻找java代码。我将使用以下方法之一(colt、apachecommonsmath、jblas)来实现这一点。然而,由于我真的希望提高这些算法的速度,我正在寻找建议,并希望现有的实现,并行这些算法,以提高性能。据我所知,hadoop不是分发矩阵操作的好选择。我也看过mahout,但我不清楚这是否有助于实现这一目标。非常感谢你的提示和建议。
hjqgdpho1#
你从哪里得到的信息,hadoop“不是一个好的选择,为分布矩阵运算”?这当然是一个很好的选择,但前提是您的数据是巨大的—比如至少50GB以上。如果你能把它放在内存中,hadoop不是一个好的选择,但是如果你想在多tb的数据上使用它,那么hadoop是一个很好的工具。在优化矩阵乘法时,还有很多其他的事情要考虑,比如数据的结构(是稀疏的吗?它是集群发生的吗?等等)。google上有很多关于在mapreduce上实现矩阵乘法的信息-如果你选择这条路线,jeffrey ullman的书可能是一个很好的开始。
1条答案
按热度按时间hjqgdpho1#
你从哪里得到的信息,hadoop“不是一个好的选择,为分布矩阵运算”?这当然是一个很好的选择,但前提是您的数据是巨大的—比如至少50GB以上。如果你能把它放在内存中,hadoop不是一个好的选择,但是如果你想在多tb的数据上使用它,那么hadoop是一个很好的工具。在优化矩阵乘法时,还有很多其他的事情要考虑,比如数据的结构(是稀疏的吗?它是集群发生的吗?等等)。
google上有很多关于在mapreduce上实现矩阵乘法的信息-如果你选择这条路线,jeffrey ullman的书可能是一个很好的开始。