我在单节点计算机上使用hadoop。当我运行一个大小为1gb的大文件时，拆分大小为128mb。因此，它以8个拆分运行文件，但这些拆分按顺序运行意味着一个拆分在另一个拆分完成后开始执行。我们是否必须设置任何属性值才能在单节点计算机上并行运行拆分。
ctehm74n1#
Hadoop 提供分布式处理框架( batch )，即。 MapReduce ，它并行执行任务。但是并行性的级别取决于集群中的机器数量。并行性也可以通过 input split size 但是，由于您有一个独立的设置，因此无法实现并行性。
Hadoop
batch
MapReduce
input split size
1条答案
按热度按时间ctehm74n1#
Hadoop提供分布式处理框架(batch)，即。MapReduce，它并行执行任务。但是并行性的级别取决于集群中的机器数量。并行性也可以通过input split size但是，由于您有一个独立的设置，因此无法实现并行性。