我计划在hadoop、mapreduce和其他大数据方面积累一些经验。最初我想把它安装在笔记本电脑上。我想知道在windows上安装hadoop最好的笔记本电脑硬件是什么。我假设我必须安装一个单节点安装,如果没有请指导我正确的配置。向纳迪姆问好
cyej8jka1#
如果你想练习简单的程序(不是数据密集型的),那么4gb内存应该是不错的。如果你想安装一个节点,最好的配置是32gbram,至少有4个内核。有关如何安装单个节点的更多信息,请参阅myhobbyandexperiments.wordpress.com
ddarikpa2#
我知道你提到要在windows上安装,但是cloudera提供单节点hadoop-linux-vm映像,可以让你很快启动并运行。你甚至有例子和脚本包括在内,这是一个非常好的开始。https://www.cloudera.com/downloads.html(别忘了看入门部分。)在我看来,如果你想学习大数据和hadoop,你还应该花一些时间熟悉linux,因为大多数真实的环境都是基于linux的。系统要求:每个cloudera页面,vm需要4gb的ram和3gb的磁盘空间。这意味着你的笔记本电脑应该有更多(我建议8gb+)。在存储方面,只要您有足够的内存来测试中小型数据集(10s的gb),就可以了。至于cpu,如果你的机器有那么多的ram,你很可能就没事了。我正在使用一个单节点蹩脚的奔腾g3210与4gb的内存测试我的小工作,它的工作刚刚好。稍后,如果您不再需要这个环境,您可以简单地移动到您自己的伪分布式设置。当然,如果我刚才说的对你没有意义,那么你还有一些阅读。。。
1tu0hz3e3#
带有4GB内存的Windows64位操作系统应该很好。我已经发布了一个博客。在这个博客中,我记录了使用Windows64位pc或笔记本电脑在伪分布式模式下安装hadoop集群的详细步骤和支持的屏幕截图这是一个三步的过程步骤1–安装vm播放器步骤2–设置lubuntu虚拟机步骤3–安装hadoophttp://hadooppseudomode.blogspot.in/
pkwftd7m4#
你不太可能准备好拥有一台只支持linux的笔记本电脑。因此,您需要一个支持64位虚拟化的64位cpu—当然还有64位操作系统。请注意,对虚拟化的支持通常在bios级别被禁用,您需要找到并启用它。除此之外,内存充足-至少8gb,尽管16gb是首选。我也喜欢为不同的操作系统提供不同的硬盘驱动器,所以一台笔记本电脑可以用hd caddy代替dvd,第二个ssc硬盘驱动器(比如128gb)就不错了。
4条答案
按热度按时间cyej8jka1#
如果你想练习简单的程序(不是数据密集型的),那么4gb内存应该是不错的。如果你想安装一个节点,最好的配置是32gbram,至少有4个内核。
有关如何安装单个节点的更多信息,请参阅myhobbyandexperiments.wordpress.com
ddarikpa2#
我知道你提到要在windows上安装,但是cloudera提供单节点hadoop-linux-vm映像,可以让你很快启动并运行。你甚至有例子和脚本包括在内,这是一个非常好的开始。
https://www.cloudera.com/downloads.html
(别忘了看入门部分。)
在我看来,如果你想学习大数据和hadoop,你还应该花一些时间熟悉linux,因为大多数真实的环境都是基于linux的。
系统要求:每个cloudera页面,vm需要4gb的ram和3gb的磁盘空间。这意味着你的笔记本电脑应该有更多(我建议8gb+)。在存储方面,只要您有足够的内存来测试中小型数据集(10s的gb),就可以了。至于cpu,如果你的机器有那么多的ram,你很可能就没事了。我正在使用一个单节点蹩脚的奔腾g3210与4gb的内存测试我的小工作,它的工作刚刚好。
稍后,如果您不再需要这个环境,您可以简单地移动到您自己的伪分布式设置。
当然,如果我刚才说的对你没有意义,那么你还有一些阅读。。。
1tu0hz3e3#
带有4GB内存的Windows64位操作系统应该很好。我已经发布了一个博客。在这个博客中,我记录了使用Windows64位pc或笔记本电脑在伪分布式模式下安装hadoop集群的详细步骤和支持的屏幕截图
这是一个三步的过程
步骤1–安装vm播放器
步骤2–设置lubuntu虚拟机
步骤3–安装hadoop
http://hadooppseudomode.blogspot.in/
pkwftd7m4#
你不太可能准备好拥有一台只支持linux的笔记本电脑。因此,您需要一个支持64位虚拟化的64位cpu—当然还有64位操作系统。请注意,对虚拟化的支持通常在bios级别被禁用,您需要找到并启用它。
除此之外,内存充足-至少8gb,尽管16gb是首选。我也喜欢为不同的操作系统提供不同的硬盘驱动器,所以一台笔记本电脑可以用hd caddy代替dvd,第二个ssc硬盘驱动器(比如128gb)就不错了。