我想把主题分区分成多个kafka服务器,如图所示。示例:我只有一个主题“test”,我有两个kafka服务器(k1,k2),我有4个主题“test”分区。我希望服务器k1有分区0和1,服务器k2有分区2和3。
0ve6wy6x1#
Kafka服务器不过是多个代理。请按照以下步骤操作,复制 config/server.properties 文件到您需要的服务器数量。你的情况是两个。将文件复制到两个不同的文件并更改代理id和端口一。 server_K1.properties (您可以根据需要提供文件名),按以下方式更改文件属性。 broker.id=1 port=9092 log.dir=/tmp/kafka-logs-1 二。server_K2.properties broker.id=2 port=9093 log.dir=/tmp/kafka-logs-2 使用以上两种配置启动kafka服务器
config/server.properties
server_K1.properties
broker.id=1
log.dir=/tmp/kafka-logs-1
broker.id=2
log.dir=/tmp/kafka-logs-2
bin/kafka-server-start.sh config/server_K1.properties bin/kafka-server-start.sh config/server_K2.properties
通过提供复制因子,主题将跨代理进行复制。根据您创建的分区和接收的数据量,分区在代理之间共享。您可以在创建主题时创建4个分区,这些分区将在代理之间共享。
1条答案
按热度按时间0ve6wy6x1#
Kafka服务器不过是多个代理。请按照以下步骤操作,
复制
config/server.properties
文件到您需要的服务器数量。你的情况是两个。将文件复制到两个不同的文件并更改代理id和端口一。
server_K1.properties
(您可以根据需要提供文件名),按以下方式更改文件属性。broker.id=1
port=9092log.dir=/tmp/kafka-logs-1
二。server_K2.properties
broker.id=2
port=9093log.dir=/tmp/kafka-logs-2
使用以上两种配置启动kafka服务器通过提供复制因子,主题将跨代理进行复制。根据您创建的分区和接收的数据量,分区在代理之间共享。
您可以在创建主题时创建4个分区,这些分区将在代理之间共享。