Impala 数据位置

cvxl0en2 于 2021-06-26 发布在 Impala

关注(0)|答案(1)|浏览(350)

我有一个关于impala中数据位置的问题，假设我有一个包含10个数据节点的集群（每个数据节点上都有impalad），如果我在impala中执行查询的话 SELECT * FROM big_table where dt='2017' where blabla orderby blabla group by blabla （假设这是一个大问题）。
假设分区（dt=2017'）下的文件是dn 1,3,5，那么如果我执行查询，协调器是只使用守护进程1,3,5作为数据位置，还是使用所有守护进程，其他守护进程将远程读取这些数据？

impala cloudera bigdata

来源：https://stackoverflow.com/questions/42144834/impala-data-locality

1条答案

按热度按时间

yi0zb3m41#

简单回答您的问题：它只使用守护进程1、3、5作为数据位置。
这通常是一个调度问题。 Impala 会做出这样的决定 simple-scheduler.cc .

// We schedule greedily in this order:
// cached collocated replicas > collocated replicas > remote (cached or not) replicas.

如果有一个后端共有，impala不会使用其他后端扫描datanode。对于没有scannode的片段，如分区聚合节点，impala将它们放在与输入片段所在的位置相同的位置。

// there is no leftmost scan; we assign the same hosts as those of our
  // leftmost input fragment (so that a partitioned aggregation fragment
  // runs on the hosts that provide the input data)

赞(0）回复(0）举报 2021-06-26

我来回答

Impala 数据位置

1条答案

相关问题

热门标签

最新问答