将数据从kafka发送到hadoop

nuypyhwy  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(426)

在机器a中kafka正在运行,在机器b中hadoop已经安装。现在我想从kafka向hadoop写入数据。我在a机上安装了汇流平台。
有没有人能告诉我,为了将数据从kafka写入运行在不同机器上的hadoop,我必须添加什么配置

mw3dktmi

mw3dktmi1#

您可以在这里找到kafka connect hdfs连接器的完整文档。
快速入门中有一个教程。若要尝试,请修改 etc/kafka-connect-hdfs/quickstart-hdfs.properties 根据需要,然后使用

confluent load hdfs-sink -d etc/kafka-connect-hdfs/quickstart-hdfs.properties

相关问题