假设我编写了一个从物联网设备收集数据的应用程序,并让我的客户通过向我提供他们的http端点凭据来订阅这些数据。
我必须处理他们的端点不响应或速度慢,然后我将缓冲消息,直到发送(消费),这将需要存储。
为了限制这个存储空间,我想知道是否可以观察我的消费者的延迟,当它达到一个阈值时,会自动增加主题租用(稍后会自动减少)
这将帮助我在默认情况下设置一个短的保留期,并且能够在不丢失消息的情况下处理不可用的外部端点(当然,如果滞后持续增长,我将不得不采取其他行动)。
我的问题是,Kafka有这种可能吗?这样做的时候,有什么东西是我应该带的吗?
非常感谢
1条答案
按热度按时间cgh8pdjw1#
您可以通过kafka命令行工具调整主题的保留时间:
或者如果你想在你的代码里做,看看
TopicCommand
班级。