我是cloudera hadoop的新手,我想自己学习cloudera hadoop管理,我在windows笔记本电脑上安装了12GB的ram,可以使用9GB左右的虚拟机,有人知道如何在虚拟环境中安装和使用cloudera manager来实践cloudera管理吗?有没有办法在只有8gb内存的cloudera manager上工作?
e4yzc0pl1#
您可以下载cloudera快速启动。它是一个包含许多cloudera组件的vm,需要4gb的ram。链接:http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cloudera_quickstart_vm.html
hivapdat2#
您可以安装从centos dvd安装centos 6.x或7.2,并选择“minimal server”或“minimal workstation”,具体取决于您是否需要图形界面使用cloudera文档从头开始安装cloudera管理器,使用外部postgresql选择路径b。它比路径a更能代表管理任务。路径c从cm开始只是一场噩梦。使用9gbram,如果您有一个eclipse示例来开发一些概念验证,集群可以运行得稍微慢一点,但这是可以接受的。当您的集群启动时,您可以停止cloudera manager并使用hadoop服务。
b4lqfgs43#
因此,基本上首先你需要安装一个虚拟机与操作系统,我一般更喜欢centos,但检查支持的操作系统,由cloudera在安装之前,你可以按照从互联网上的链接创建虚拟机这里是一个http://teaching.idallen.com/cst8207/14f/notes/000_centos_virtualbox_install.html然后,一旦虚拟机启动,并且您在上面有了互联网连接,就可以在这里为cloudera配置preriqus站点http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cm_ig_cm_requirements.html您将有两个选择手动或由cloudera manager自动继续您的首选。http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html我希望这能帮助你和其他人。
sqxo8psd4#
您可以使用vagrant,它是一个命令行实用程序,用于管理虚拟机的生命周期。您尤其可以按照以下说明操作:http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/如果您选择这样做,因为您没有很多可用的ram,所以您必须修改projectvagrantfile以满足您的ram需求,并且您可能无法在您的节点上安装所有cloudera服务。默认项目将旋转一个由4个虚拟机组成的集群;一个主节点有4gb的ram,三个从节点各有2gb的ram。您可以从vagrant文件中删除一个slave,例如,通过删除以下行来删除slave3:
config.vm.define :slave3 do |slave3| slave3.vm.box = "precise64" slave3.vm.provider :virtualbox do |v| v.name = "vm-cluster-node4" v.customize ["modifyvm", :id, "--memory", "2048"] end slave3.vm.network :private_network, ip: "10.211.55.103" slave3.vm.hostname = "vm-cluster-node4" slave3.vm.provision :shell, :inline => $hosts_script slave3.vm.provision :hostmanager end
因此,您将拥有一个由3个节点组成的集群;一个主内存为4gb,两个从内存为2gb。
4条答案
按热度按时间e4yzc0pl1#
您可以下载cloudera快速启动。它是一个包含许多cloudera组件的vm,需要4gb的ram。
链接:
http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cloudera_quickstart_vm.html
hivapdat2#
您可以安装
从centos dvd安装centos 6.x或7.2,并选择“minimal server”或“minimal workstation”,具体取决于您是否需要图形界面
使用cloudera文档从头开始安装cloudera管理器,使用外部postgresql选择路径b。它比路径a更能代表管理任务。路径c从cm开始只是一场噩梦。
使用9gbram,如果您有一个eclipse示例来开发一些概念验证,集群可以运行得稍微慢一点,但这是可以接受的。当您的集群启动时,您可以停止cloudera manager并使用hadoop服务。
b4lqfgs43#
因此,基本上首先你需要安装一个虚拟机与操作系统,我一般更喜欢centos,但检查支持的操作系统,由cloudera在安装之前,你可以按照从互联网上的链接创建虚拟机这里是一个
http://teaching.idallen.com/cst8207/14f/notes/000_centos_virtualbox_install.html
然后,一旦虚拟机启动,并且您在上面有了互联网连接,就可以在这里为cloudera配置preriqus站点
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cm_ig_cm_requirements.html
您将有两个选择手动或由cloudera manager自动继续您的首选。
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
我希望这能帮助你和其他人。
sqxo8psd4#
您可以使用vagrant,它是一个命令行实用程序,用于管理虚拟机的生命周期。
您尤其可以按照以下说明操作:http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/
如果您选择这样做,因为您没有很多可用的ram,所以您必须修改projectvagrantfile以满足您的ram需求,并且您可能无法在您的节点上安装所有cloudera服务。
默认项目将旋转一个由4个虚拟机组成的集群;一个主节点有4gb的ram,三个从节点各有2gb的ram。
您可以从vagrant文件中删除一个slave,例如,通过删除以下行来删除slave3:
因此,您将拥有一个由3个节点组成的集群;一个主内存为4gb,两个从内存为2gb。