有人给我指出正确的方向。我想做一些非常大的,往往非常稀疏矩阵一些重型操作,我正在寻找合适的工具的工作。这些矩阵将比任何一台机器的ram大得多,因此可能会扩展到几个不同的机器。矩阵通常是稀疏的。我将要执行所有常见的矩阵运算:乘法、转置、求逆、伪逆、奇异值分解、特征值分解等。我关注的关键可能是,由于矩阵很可能会分布在多台机器上,因此我希望尽量减少信息共享,因为网络延迟可能是我最大的敌人。我担心map reduce(lahadoop)不是正确的选择,因为它的重点是在机器之间传输大量数据。这本书提供了一个伟大的介绍Map减少从算法的Angular 。许多矩阵运算类似于巨型连接运算,它们被认为是慢的或Map减少的。
所以。。。我该去哪里?
1条答案
按热度按时间nue99wik1#
本文介绍:设计基于hadoop的大规模矩阵计算,可以帮助您对实现指南有所帮助。hbase用于存储稀疏表,因此hbase可能是矩阵的推荐存储选项。