我有一个程序,它只有驱动程序和Map程序类。我没有使用减速机类。
在driver类中,我正在s3bucket和mapper类中读取一个文件。我在s3bucket中通过普通java代码(如aws java sdk)编写文件,而不是通过context.write。
我有1000个json文件。当我运行这个程序时,driver类获取文件,mapper类在s3 bucket中编写每个文件。对我来说,写一个文件最多需要2秒钟,但我想在2秒钟内写至少100个文件。
我怎样才能做到这一点?请给我建议一些解决办法。
1条答案
按热度按时间goucqfw61#