大多数教程都涉及下载vm以使用hadoop。有没有办法从头开始创建hadoop项目,或者使用intellij导入现有项目?
另外,我正在Windows10上工作,并添加了环境变量 HADOOP_HOME
以及 JAVA_HOME
好像没用。
我得到的错误是:
Error: JAVA_HOME is incorrectly set.
Please update C:\Hadoop\hadoop-2.7.2\conf\hadoop-env.cmd
然而,我的 JAVA_HOME
设置正确。
1条答案
按热度按时间lyfkaqu11#
hadoop的全部要点是,您有一个运行mapreduce任务的节点集群。mapreduce作业只是可以在任何ide(如intellij)中创建的java程序。然后可以在集群上运行此代码。如果您没有集群,那么您需要在下载vm时创建一个集群。
但是,如果您只在您的计算机上运行它,那么使用mapreduce是没有意义的,因为您的集群将是虚拟的,所以您不会获得任何性能改进。听起来你对什么是hadoop有误解。更多地研究它,以了解为什么你正在尝试做的事情不起作用。