我正在读一篇关于google的mapreduce白皮书。我想知道如何有效地将gbs的数据传递给mapreduce算法。本文显示了以秒为单位处理tbs数据的统计数据。本文说，为了使它有效地工作，他们减少了网络调用，并尝试在本地磁盘上进行本地写操作。只有reducer函数执行远程调用并写入本地输出文件。现在，当我们在内存中加载gbs的数据以将其传递给map函数时，数据加载器应用程序肯定会耗尽内存。
所以我的问题是，应该使用什么技术来高效地加载数据，并传递给调度器应用程序进行m和r调度，以及计算m个和r个数。
我很可能会从oracle数据库中读取一些数据，然后将其更新回其他一些表中。
白皮书的urlhttp://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/mapreduce-osdi04.pdf