我有两个单独的文件矩阵。我必须把这些文件读入缓存，这样我才能把它们相乘。我一直在想hdfs是否能帮我。我怀疑hdfs没有，因为它没有足够的缓存来读取和处理文件。简而言之，我能同时打开两个文件吗
v7pvogib1#
为了回答这个问题的简短版本，hdfsapi确实允许同时读取两个文件。您可以简单地在这两个文件上创建两个输入流，并并行地读取它们（与常规文件一样），并围绕这一点管理您的逻辑。但是，hdfs是一个简单的文件系统，它没有自己的缓存（除了os缓冲区缓存），任何需要携带的计算缓存都需要由自己的应用程序来处理。作为另一个一般性建议，既然您希望使用乘法矩阵，那么不妨看看支持hdfs的apachemahout和apachehama项目。
1条答案
按热度按时间v7pvogib1#
为了回答这个问题的简短版本，hdfsapi确实允许同时读取两个文件。您可以简单地在这两个文件上创建两个输入流，并并行地读取它们（与常规文件一样），并围绕这一点管理您的逻辑。
但是，hdfs是一个简单的文件系统，它没有自己的缓存（除了os缓冲区缓存），任何需要携带的计算缓存都需要由自己的应用程序来处理。
作为另一个一般性建议，既然您希望使用乘法矩阵，那么不妨看看支持hdfs的apachemahout和apachehama项目。