我在用java写一个map reduce作业，我想知道是否可以将作业的输出作为流（可以是输出流）而不是物理输出文件。我的目标是将流用于另一个应用程序。
tcbh2hod1#
您可以编写一个自定义输出格式，并使用该格式写入任何您想要的流。不一定是文件。请参阅本教程，了解如何编写自定义输出格式。或者您可以使用hadoop流api。看看这里。
bq3bfh9z2#
我不认为你能用apachehadoop做到这一点。它被设计成在一个分布式系统中工作，afaik提供了一种发射信号的方法 output stream 会违背目的，因为那时系统将如何决定要发射的流，即哪个还原剂！你可以写一个平面文件/db/amazon-s3等，但也许你不会得到一个流。
output stream
2条答案
按热度按时间tcbh2hod1#
您可以编写一个自定义输出格式，并使用该格式写入任何您想要的流。不一定是文件。请参阅本教程，了解如何编写自定义输出格式。
或者您可以使用hadoop流api。看看这里。
bq3bfh9z2#
我不认为你能用apachehadoop做到这一点。它被设计成在一个分布式系统中工作，afaik提供了一种发射信号的方法
output stream会违背目的，因为那时系统将如何决定要发射的流，即哪个还原剂！你可以写一个平面文件/db/amazon-s3等，但也许你不会得到一个流。