mesos上hadoop需要高性能集群虚拟化

thigvfpy  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(289)

我们工作的部门刚买了4个节点(服务器),每个节点有80个核心,还有一堆内存和磁盘空间。
我们只是在开始阶段,希望确保节点被正确地引入到集群中,以供将来使用。
预期用途集中于机器学习/大数据。基本上我们是高级分析团队。我们为完整的数据设置了sql服务器和数据库。我们的主要目标是使用数据来获得业务洞察力,开发算法,并为组织的数据和流程构建优化引擎。我们在某些时候可能需要的工具:

-Docker images for developed applications 
-Place to run jobs when developing new algorithms in batch job/maybe real time.
-Python ML algorithms
-Spark Jobs
-Possible Hadoop cluster? (this one uncertain about now)

-我们要运行批处理作业,但也要运行交互式作业。
我们目前的计划是运行chronos,并最终马拉松以及调度。我们计划使用apachemesos进行资源管理。
最后是问题。我们的it部门告诉我们,要运行hadoop集群,我们必须虚拟化每个节点。这种虚拟化在每个节点上占用了8个内核,还占用了GB的内存和大量的磁盘空间。他们说的对吗?怎样才能减少系统开销,从而在设置服务器时不消耗10-20%的资源?
最后,作为一个额外的好处,有关于建立mesos集群、添加hadoop和配置一切的好书。
根据一些评论,也许我们不需要hadoop,在这种情况下,我们就不需要虚拟化。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题