我在笔记本电脑和oraclevirtualbox虚拟机上运行clouderahadoop。我已经给了我的8个5.6GB和6个8核以及。但我还是无法让它继续运行。即使没有加载服务也无法保持正常运行,当我尝试查询时,至少Hive会在20分钟内关闭。有时它们像多米诺骨牌一样一个接一个地倒下。
更多的内存似乎对一些人有所帮助:3gb和所有的服务,色调是闪烁的红色时,色调本身设法站起来。重新启动后,我需要30-60分钟才能启动系统,甚至可以在上面运行任何东西。
有两个合理的注解(我设法找到):-交换警告。-当系统使用26 gb的虚拟内存不够时,会出现崩溃。
我的数据集不到1兆字节,所以很难理解为什么系统会上升到几十兆字节,但不管是什么原因,这一切都已经过去了:现在系统在5.6兆字节左右运行得更稳定了,我关闭了一些服务后给了它:看看我自己的答案。
但它仍然更稳定。就在我收到换 hive 的警告后 hive 又塌了。如果虚拟机开始交换,多少所有hadoop服务都会停止的原因是什么?
我没有足够的声誉张贴图片到这里,但当Hive再次下降,它是交换13页/秒,并利用5.9 gb/5.6 gb。所以基本上,我的系统在开始交换后或多或少会崩溃。”在前15分钟内已将428页交换到磁盘“
就硬盘而言,我使用了默认安装选项。唯一添加的是windows和vm之间的共享文件夹。它的工作原理有点奇怪,总是锁定文件,所以我使用它就像ftp一样,只用于将文件从一个系统传递到另一个系统。因此,我可以几天不使用它,但系统仍然崩溃,所以这也不是原因。
现在系统基本上已经启动,服务仍然每天崩溃两次:服务监视器和配置单元的崩溃频率相当均匀。之后是活动监视器和事件服务器,它们似乎总是一起崩溃。我相信Yarn也会崩溃,但它会自己爬起来。上次配置单元先崩溃,然后是服务监视器、配置单元(第二次)、活动监视器和事件服务器。
因为交换是磁盘,所以问题可能出在磁盘上:
# cat /etc/fstab
# swapoff -a
# badblocks -v /dev/VolGroup/lv_swap
Checking blocks 0 to 8388607
Checking for bad blocks (read-only test): done
Pass completed, 0 bad blocks found.
# badblocks -vw /dev/VolGroup/lv_swap
Checking for bad blocks in read-write mode
From block 0 to 8388607
Testing with pattern 0xaa: done
Reading and comparing: done
Testing with pattern 0x55: done
Reading and comparing: done
Testing with pattern 0xff: done
Reading and comparing: done
Testing with pattern 0x00: done
Reading and comparing: done
Pass completed, 0 bad blocks found.
所以交换磁盘没有问题,我也没有注意到任何其他地方的磁盘错误。
注意,您也可以从windows端检查文件系统。但是我认为如果你用windows来修复你的linux文件系统,你很有可能用它来破坏你的linux,所以我做了一些悲观的检查,因为这些命令是可以安全执行的。
3条答案
按热度按时间ecfsfe2w1#
还要考虑:cloudera.com/live包含完整的cdh5.1集群+示例数据,在aws上按需运行。当然,vm的优点是可以使用byod,但是如果您只是想体验hadoop,那么live是一个不错的选择。
dnph8jn42#
虚拟机需要4gb:http://www.cloudera.com/content/cloudera-content/cloudera-docs/demovms/cloudera-quickstart-vm/cloudera_quickstart_vm.html 你应该用这个。
我不清楚你是否使用快速启动虚拟机,虽然。它被设置为只运行基本的服务,并被调整为节省内存而不是利用大量内存。
听起来像是在一台虚拟机上,在windows机器上运行自己的安装。您可能正在一台桌面计算机上运行整个集群的服务。这些服务中的每一个都有主进程、工作进程、监视进程等,您不需要它们中的大多数。
您可能还保留了适用于16+gbram的服务器级计算机的默认内存设置。请记住,这些服务通常在多台机器上运行,而不是在一台机器上运行。
最后,你很明显在交换,这让事情变得非常缓慢。记住这也是通过虚拟机实现的!
总之,如果您真的想正确地调优单机集群,请使用quickstart vm。如果你想要一个真正的集群或者更多的服务,你需要更多的硬件。
xpszyzbs3#
大约一半的服务一直在下降,所以给出更多的细节将是一个漫长的过程。
我成功地关闭了flume、hbase、impala、ks\u indexer、oozie、spark和sqoop,使系统更加稳定。通过增加一些剩余服务的内存来抱怨他们没有得到足够的内存。
另外,我在windows端修复了一些东西,我不确定是哪一个帮助了我:-msmpeng.exe使我的硬盘忙。我没有权限杀死它,但我把它的优先级降到了最低ccmexec.exe在我的dvd上循环播放,并一直读下去。我把dvd从光驱里拿出来解决了这个问题。后来我杀死了进程树,让它暂时不受干扰。我是用windows资源管理器找到的。