我正在处理一个用例，在这个用例中，我必须将外部kafka主题元数据导入apacheatlas。我有以下几个问题需要澄清：
是否可以从外部kafka导入主题元数据，而不是用于atlas通知目的的kafka？如果可能，怎么做？
如何使kafka元数据自动更新类似于hive或hbase，而不是每次手动运行导入脚本？
导入的主题没有沿袭数据。在什么情况下为主题捕获沿袭数据？
既然只有一个与Kafka相关的实体“Kafka主题”，那么会不会根本没有关系数据？
在什么情况下，审计被捕获的主题？
我正在处理一个用例，在这个用例中，我必须将外部kafka主题元数据导入apacheatlas。我有以下几个问题需要澄清：
是否可以从外部kafka导入主题元数据，而不是用于atlas通知目的的kafka？如果可能，怎么做？
如何使kafka元数据自动更新类似于hive或hbase，而不是每次手动运行导入脚本？
导入的主题没有沿袭数据。在什么情况下为主题捕获沿袭数据？
既然只有一个与Kafka相关的实体“Kafka主题”，那么会不会根本没有关系数据？
在什么情况下，审计被捕获的主题？
1条答案
按热度按时间r7xajy2e1#
我也在做一些类似的关于外部Kafka主题和Map集的工作，我有和你几乎相同的问题。
对于第三个问题，我认为没有kafka主题沿袭图的部分原因是因为kafka只是一个消息传递总线。kafka消息是不可变的，因此没有像hbase或hive那样的dml，即使在hbase中，表是按同一行键上的“version”更新的。
在每个kafka主题中，都有一个保留期设置，默认为7天，在该保留期内，无论该主题的过期消息是否已被消费，都会从日志中删除过期消息。基于此，监控“已删除”消息的价值不大。
毕竟，Kafka的主要角色是一个信息传递工具，将信息从源传递到目的地。它可以暂时缓存消息，不过，它和数据库不一样。我不太赞成用运输公司来做仓库的工作。