很难说出这里要问什么。这个问题模棱两可，含糊不清，不完整，过于宽泛，或者是修辞性的，不能以现在的形式得到合理的回答。有关澄清此问题以便重新打开的帮助，请访问帮助中心。7年前关门了。我们有一个应用程序，它包含一个表，其中包含我们每天不断引用的事务数据。它有数百万行。显然，查询该表非常慢。有没有什么方法可以让我从那个表中创建bigdata并使用hadoop和相关技术来查询结果？
fcwjkofz1#
您可以使用apachesqoop在hadoop中导入大型数据库。每天结束时（或按照您自己的时间表），您可以将完成的事务导入到您加载的现有数据库中。因此，通过这种方式，您每天都会将事务添加到hadoop中现有的数据中。你需要看到的技术sqoop：从数据库配置单元导入数据：提供类似sql的接口来查询数据搜索apache配置单元oozie：安排每天导入数据的作业。搜索ApacheOozieSqoop具有执行增量加载的特性，您可以使用它。除了hive之外，您还可以使用impala来查询数据，它的工作速度非常快
1条答案
按热度按时间fcwjkofz1#
您可以使用apachesqoop在hadoop中导入大型数据库。每天结束时（或按照您自己的时间表），您可以将完成的事务导入到您加载的现有数据库中。因此，通过这种方式，您每天都会将事务添加到hadoop中现有的数据中。
你需要看到的技术
sqoop：从数据库配置单元导入数据：提供类似sql的接口来查询数据搜索apache配置单元oozie：安排每天导入数据的作业。搜索ApacheOozieSqoop具有执行增量加载的特性，您可以使用它。
除了hive之外，您还可以使用impala来查询数据，它的工作速度非常快