我们有一个小的hadoop集群,其中jobtracker被配置为动态的(从一个节点移动到另一个节点)。我们希望通过一个通用的webui(hadoopmapreducejobtracker)而不是通过命令行使数据、日志文件和交互更加公开。
其实现思想是使hadoop集群中的所有节点的web端口都为出站打开,并为所有节点创建一个公共dns别名,以便对jobtracker节点有一个恒定的引用。这是最佳实践吗?还对安装apachehue这样的前端附加组件感兴趣(http://www.gethue.com)最终用户可以访问的。
我知道有一种能力可以使jobtracker静态,这可以解决这个问题,但可能会引入其他问题-但我确信,通过创建专用节点,它消除了hadoop的一些预期用途和集群节点的功能。
对于如何从战略上最好地为管理员和最终用户部署一致且可访问的url的任何见解,我们深表感谢。
1条答案
按热度按时间xqnpmsa81#
hue支持jt-ha,因此您可以列出可能的jobtrackers主机/端口,hue将选择有效的jobtrackers主机/端口。
不过,最好的情况是,每次重新配置hue.ini并重新启动hue时,都用新的主机名更新它。
显然,如果使用cloudera管理器重新配置集群,它也会自动更新色调。