mapr架构与cloudera架构

70gysomp  于 2021-06-03  发布在  Hadoop
关注(0)|答案(4)|浏览(492)

我熟悉cloudera的基础架构或体系结构:
主节点包括namenode、secondarynamenode、jobtracker和hmaster。从属节点包括datanode、tasktracker和hregionserver。
主节点都应该在自己的节点上(除非它是一个小集群,否则可以将secondarynamenode、jobtracker和hmaster合并,如果它是一个非常小的集群,甚至namenode也可以)。
从属节点应始终位于同一节点上。从节点越多,越活跃。
secondarynamenode是一个误称,除非您为高可用性启用它。
mapr是否维护此设置?它有什么相似之处,又有什么不同之处?

vm0i2vca

vm0i2vca1#

从架构的Angular 看,mapr没有主节点。主节点在典型hadoop体系结构中提供的功能在mapr的“数据节点”中分布和执行。
https://www.mapr.com/why-hadoop/why-mapr/architecture-matters

mzsu5hc0

mzsu5hc02#

mapr与普通的hadoop和cdh发行版有些不同。它保留了大部分服务和结构(job tracker、数据节点、hbase master&region、mr等),但也存在一些显著的差异。
mapr发行版的定义之一是它不使用hdfs。它有自己的定制fs,它的特点是ha,无需命名节点(通过分布式元数据)即可运行。它还允许他们比其他hadoop发行版提前几年启用nfs访问,以及快照。
不过,自定义的fs确实会使它们的分布有点复杂。。。例如,当您想要运行产品或服务时,通常需要安装mapr特定的修补程序。当您想运行mahout时,您需要使用https://github.com/mapr/mahout. 但这也为他们提供了一个在fs级别整合更好的安全性的机会,如“访问控制表达式”和集群/作业/卷acl的实现所示。
总的来说,这是一个结构良好的产品。我最担心的是,他们已经偏离了规范,以至于当采用新的创新时,他们适应的速度很慢,因为它必须融入到他们高度变化的环境中。Yarn是一个完美的例子。。。他们还没有发布,尽管他们的竞争对手已经发布了。

vyswwuz2

vyswwuz23#

mapr没有主节点、内置mechanism,但在cloudera中有主节点、辅助名称节点和资源管理器http://commandstech.com/mapr-vs-cloudera-vs-hortonworks/

t98cgbkg

t98cgbkg4#

@jamcon在回复中提供了很好的信息,但有一些事情值得澄清:
关于补丁的评论并不准确。mapr在其发行版中打包了广泛的hadoop项目,因此您不必单独编译任何东西。mapr和其他发行版有相同的api,这意味着它们的软件包不是关于兼容性的,只是来自社区的bug修复/增强。在mapr上运行hadoop生态系统项目通常不需要额外的工作。据我所知,他们每月至少发布一次生态系统更新,以跟上新增强的步伐。
关于Yarn的加入,我们从7月14日起就开始在大型集群上运行mapr!我相信mapr有自己的生态系统项目审查流程,一旦他们确定一个项目准备好接受企业支持,他们就会将mapr打包的版本提交给ga。

相关问题