我已经用ambari服务配置了hortonworkshdp,稍后我添加了hawq和pxf。通过一些研究,我发现可以通过hcatalog查询存储在hive中的数据,而且由于我已经将数据集加载到hive中,这会使工作变得简单,但是我正在做一些基准测试,有人能告诉我hcatalog的使用是否会影响hawq的性能吗?
wj8zmpe11#
当hawq使用hcatalog集成访问pxf表时,它会确定底层表(甚至分区)的格式,并使用针对特定格式优化的profile,因此性能不会下降。
fafcakar2#
补充一下oleksandr的观点,当hawq查询hcatalog时,甚至配置单元目录数据也只存储在内存中,而不是存储在hawq中的磁盘上,与本机hawq表没有任何争用。也就是说,外部hcatalog查询的性能不如本地hawq查询。
2条答案
按热度按时间wj8zmpe11#
当hawq使用hcatalog集成访问pxf表时,它会确定底层表(甚至分区)的格式,并使用针对特定格式优化的profile,因此性能不会下降。
fafcakar2#
补充一下oleksandr的观点,当hawq查询hcatalog时,甚至配置单元目录数据也只存储在内存中,而不是存储在hawq中的磁盘上,与本机hawq表没有任何争用。也就是说,外部hcatalog查询的性能不如本地hawq查询。