很容易找到公认的参考文献,指出HDF不应该跨数据中心扩展[1],而Kafka应该扩展[2]。
哪些具体问题使hdfs不适合被拉伸?
我正在考虑将HDF扩展到两个相距不到50公里、平均延迟不到1毫秒的DC上。我计划运行一个持续几周的浸泡测试,具有代表性的读写工作负载,但容量只有几百gb—比集群在几年内存储的容量少几个数量级。
如果测试成功,那么拉伸hdfs可能成功的置信度是多少?具体而言,与相对较长的主机间延迟相关的问题是否可能被隐藏;这样的问题只会暴露在更大的容量上,例如几百tb?
最后,如果dc间的延迟峰值持续几分钟(例如10毫秒),我可能会遇到什么问题?
[1] 汤姆·怀特:hadoop:权威指南
[2] https://www.confluent.io/blog/design-and-deployment-considerations-for-deploying-apache-kafka-on-aws/
暂无答案!
目前还没有任何答案,快来回答吧!