跨多个aws区域部署hadoop集群

d7v8vwbk  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(266)

我们在多个aws区域(use1、aps1、uew1)有应用服务器,我们想对服务器的日志进行一些分析。
目前我们正在使用logstash收集日志。为了避免原始日志直接跨区域传输,我想知道是否可以跨区域部署hadoop集群,但是区域中的日志存储只会将数据推送到同一区域中的datanode(e、 g.当logstash in use1请求写入hdfs时,namenode只返回datanodes in use1)。

目前我们的复制因子为2。从rackawareness的描述来看,第一个datanode是根据机架距离来选择的,所以如果我们把同一个区域的logstash和datanode的ip放到同一个机架上,我们就可以得到同一个区域的第一个datanode。但是,第二个数据节点似乎是从其他机架中随机选择的,我想知道它是否也会受到机架距离的影响。据说同一个数据中心(idc)的两个机架之间的距离是4,而不同idc之间的距离是6。因此,如果我们在同一个idc的同一个区域中有数据节点,我们能保证日志存储写入同一区域中的数据节点吗(如下所示)?

我们现在使用ClouderManager进行hadoop部署。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题