我听说，apachecrunch是一个门面，它可以在没有hadoop的情况下运行应用程序。这是真的吗？
如果是，那怎么办？
在apache crunch getting started中，第一个示例包括hadoop命令：
$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>可以省略吗 hadoop ?
我听说，apachecrunch是一个门面，它可以在没有hadoop的情况下运行应用程序。这是真的吗？
如果是，那怎么办？
在apache crunch getting started中，第一个示例包括hadoop命令：
$ hadoop jar target/crunch-demo-1.0-SNAPSHOT-job.jar <in> <out>可以省略吗 hadoop ?
1条答案
按热度按时间ef1yzkbh1#
也许你误解了你不需要hadoop集群。hive、pig、spark都可以在本地运行，也可以在hdfs以外的文件系统上运行。
据我所知，您确实需要hadoopapi（这就是
hadoop jar将为您加载）。换句话说，您可以将输入和输出目录设置为本地目录
file://需要hdfs的路径。你可以
export CLASSPATH包括hadoop库，并运行java jar运行jar