hadoop与超级计算机

uinbv5nw  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(453)

我无法理解hadoop的真正本质。如果我有足够的资源购买一台能够处理数PB数据的超级计算机,那么为什么我需要一个hadoop基础设施来管理如此巨大的数据呢?

iezvtpos

iezvtpos1#

hadoop的核心是能够在异构机器上处理大量数据。这不排除使用超级计算机的可能。

9udxz4iz

9udxz4iz2#

拥有足够的资源常常使我们哑口无言。让我给你举个例子(别担心,它涉及到hadoop),这会让你明白。克雷最便宜的超级计算机xc30ac的成本是50万美元(iirc)。一台有着良好的ram、cpu和磁盘的良好计算机的成本是多少?你需要多少钱才能购买一堆这样的计算机并共同使用它们的能量?你需要多少空间和资源来放置和处理这些机器?要找到有着良好编程技能的人以便他们能为你写mr jobs有多难???
这些只是一些事情。hadoop是开源的。使用它和调整它,如你所愿。通过邮件列表免费获得令人敬畏的支持。不仅是支持,还有建议。我希望你明白我的意思。
明智地利用你的资源比仅仅拥有它们更重要。

相关问题