我的目标是使用hadoop来分配一个令人尴尬的并行问题的任务，但是要处理计算量大的任务。
每个任务通常是要在特定vm上执行的一系列相关字节码。其思想是并行运行这个字节码，其中每个Map器将作为一个独立的vm。reduce阶段将用于通信和合并目的——始终通过vm。数据将使用分布式缓存在不同的节点之间共享。
希望我到现在都清楚了。
问题来了：
我的map reduce问题的输入是一个最大为1mb的字节码文件，据我所知，hadoop不太适合这样做。
它是由我来分割我的（超小）文件，以保证负载平衡。分裂不应该有相同的大小，但有相同的复杂性。
我的任务的复杂性来自于它正在处理的数据量，这可能是几GB的顺序。
问题来了
hadoop（通常是map reduce）是否可以配置为在这种情况下运行良好？
是否可以将我们定义拆分的方式配置为更以工作负载为中心而不是以大小为中心？
提前谢谢你们。
谨致问候