将数据从volt导出到kafka

b4qexyjb  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(411)

我们正在尝试做一个poc,我们试图将volt db表中的数据导出到kafka下面是步骤ifollowed:-
步骤1:-准备deployment.xml以允许导出到kafka

<?xml version="1.0"?>
<deployment>
<cluster hostcount="1" kfactor="0" schema="ddl" />
<httpd enabled="true">
    <jsonapi enabled="true" />
</httpd>
<export enabled="true" target="kafka">
<configuration>
<property name="metadata.broker.list">localhost:9092</property>
 <property name="batch.mode">false</property>
 </configuration>
 </export>
 </deployment>

步骤2:-然后启动voltdb服务器

./voltdb create -d deployment-noschema.xml --zookeeper=2289

步骤3:-创建一个只导出的表并向其中插入一些数据

create table test(x int);
export table test;

insert into test values(1);
insert into test values(2);

在此之后,我试图验证是否有任何主题已创建Kafka,但没有。

./kafka-topics.sh --list  --zookeeper=localhost:2289

我还可以看到exportoverflow目录中所有数据的日志记录。有人能告诉我这里缺了什么吗。

mwkjh3gx

mwkjh3gx1#

普拉巴特,
在您的特定情况下,您观察到的行为的一个可能解释是您在启动kafka时没有将auto create topics选项设置为true。导出过程要求kafka启用此功能,以便能够动态创建主题。如果没有,您将不得不手动创建主题,然后从voltdb导出。
顺便说一句,虽然您可以使用以voltdb开头的zookeeper来启动kafka,但这不是推荐的方法,因为当您关闭voltdb服务器时,您的kafka就没有zookeeper了。最好的方法是使用kafka自己的zookeeper来管理kafka示例。
让我知道这是否有用-谢谢。

8ftvxx2r

8ftvxx2r2#

一些问题和可能的答案。
您使用的是企业版吗?
你能从sqlcmd调用@quiesce,看看你的数据是否推送到kafka吗。
您使用的是哪个版本?
voltdb嵌入了一个zookeeper你是使用独立的zookeeper还是voltdb的?我们不测试嵌入一个,因为它不完全一样,Kafka支持。
请告知我们,或发送电子邮件至voltdb.com寻求支持。

相关问题