我已经在Cloudera建立了Delta Lake。它与星火和Hive一起运行得很好。
我已经在互联网上搜索了足够多的信息,以便将三角洲湖和 Impala 整合在一起。
我没有找到太多的信息。
如果你做了同样的事,有人能回答吗?
更新:
不需要Impala来删除/更新Delta表。Impala将仅用于查询/选择Delta(构建在Parquet面板上)表中的数据。
希望使用DeltaHive连接器能够以良好的性能完成这项工作?
基本上,Impala将用于即席查询/ Jmeter 板/BI,如果用户需要更新/删除,则将在用户创建的新表上进行更新/删除(这里可以使用Kudu),而不是在执行SELECT的原始表上。
希望这能澄清这一点。请提个建议。如果有更多信息,请让我知道。是必需的。
2条答案
按热度按时间wgx48brx1#
没有直接的整合。它将是用于整合的三角洲Hive连接器, Impala 位于Hive顶部。
并不常见,因为 Impala 不能从Hive中删除,只能从野兔中删除。
Impala 在下面不使用TEZ或MR作为Hive。
请参阅https://impala.apache.org/docs/build3x/html/topics/impala_refresh.html
snvhrwxg2#
到目前为止,Impala还没有定制的处理程序来理解/翻译SymLinkManifest文件或配置单元
SymLinkTextInputFormat
。