我试图将一个数据从sqldb迁移到hadoop。我通过配置hive、hbase和hadoop成功地做到了这一点。我的问题是，我在sqldb中使用birt&tableau，能够在5-10分钟内加载1000万个数据，但我新配置的hadoop、hive&hbase系统需要大约50分钟才能获取1000万个条目。如何提高性能？由于hadoop是专门为处理大量数据而开发的，为什么我不能这么做呢？有什么特殊的性能配置吗？
ma8fv8wu1#
经过大量的研究和这个问题的答案，我也通过了hdp。然后我遇到了一个场景，我们无法比较sqldb和hadoop的性能，因为两者用于不同的目的。此外，hadoop只有在数据超过几个tb的限制（即sql数据库失败的情况）之后才会显示其性能。因此，最好先检查是否有应用程序。如果对性能有要求，那么选择hadoop就不是一个好的选择；转到sql数据库。但是，如果应用程序将拥有大量的数据，那么就必须对sqldb失败的巨大数据进行分析；在这种情况下，hadoop很流行。
1条答案
按热度按时间ma8fv8wu1#
经过大量的研究和这个问题的答案，我也通过了hdp。然后我遇到了一个场景，我们无法比较sqldb和hadoop的性能，因为两者用于不同的目的。
此外，hadoop只有在数据超过几个tb的限制（即sql数据库失败的情况）之后才会显示其性能。因此，最好先检查是否有应用程序。如果对性能有要求，那么选择hadoop就不是一个好的选择；转到sql数据库。但是，如果应用程序将拥有大量的数据，那么就必须对sqldb失败的巨大数据进行分析；在这种情况下，hadoop很流行。