我正在使用streamsets数据收集器（sdc）web工具创建一个管道，通过kafka生产者将数据从本地系统传输到kafka。但是，我必须首先手动创建要在其中存储数据的主题。是否可以通过流集创建主题？
dxpyg8gm1#
默认情况下，kafka配置为自动创建主题。你可以设置 num.partitions 在broker config中，将每个主题的分区数从其默认值 1 .如果要从管道创建主题，可以从管道开始事件触发shell执行器来创建主题。请注意，不可能从阶段事件创建主题，因为这些事件在数据发送到目标之后触发，并且您希望在管道开始发送数据之前主题存在。
num.partitions
1
1条答案
按热度按时间dxpyg8gm1#
默认情况下，kafka配置为自动创建主题。你可以设置
num.partitions在broker config中，将每个主题的分区数从其默认值1.如果要从管道创建主题，可以从管道开始事件触发shell执行器来创建主题。
请注意，不可能从阶段事件创建主题，因为这些事件在数据发送到目标之后触发，并且您希望在管道开始发送数据之前主题存在。