嗨,我已经成功地在虚拟机上以伪分布式模式安装了hadoop。我在eclipse中编写代码,然后将jar文件导出到hadoop集群,然后在那里进行调试。现在只是为了学习的目的,我试图在我的windows机器上以本地配置模式安装hadoop。通过这样做,我将能够进行测试,而不必经历创建jar文件、导出和在hadoop集群上进行测试的所有麻烦。
我的问题是谁能帮助我理解hadoop在windows上如何在本地模式(hdfs与本地文件系统)下工作,以及如何在windows机器上的本地机器上配置hadoop(我可以遵循哪些步骤)。
我试着跟着各种各样的博客做同样的事情,但从他们身上并不能理解很多。所以在这里张贴相同的。
如果需要其他信息,请告诉我。提前谢谢。
1条答案
按热度按时间bvhaajcl1#
不幸的是,从一开始就不能在windows上使用hadoop,但是,可以使用cygwin有效地实现同样的功能。
我成功地设置了本地模式和分布式模式,直接从cygwin运行,但是由于unix和windows路径样式之间的各种cygpath转换问题,无法使伪分布式模式正常工作。
但是,在实践中,我仍然使用
rsync
,因为一旦您的项目达到一定的测试规模,就可以更快地完成从windows上的eclipse到linux集群的远程调试。