在合流hdfs连接器中传递参数名

hm2xizp9 于 2021-06-07 发布在 Kafka

关注(0)|答案(1)|浏览(375)

有没有什么方法可以从connecthdfs属性中的config文件传递主题名、文件名和位置。现在，我们传递的主题名称如下：

Topic = <topic_1> , <topic_2>
File location = <File_directory>

如果我们在配置文件中获得主题名，那么我们需要找到传递主题名的方法，如下所示：
主题= cat <config_file> | grep topic_name | cut 1-7 （这是读取配置文件的unix方式。。我确信我们一定有办法读取connect hdfs属性中的配置文件）

1条答案

kafka connect将配置读取为 Map 键值对中的对象。
这个 topics 以及 topics.dir 确定文件在hdfs上的写入位置。
如果要在本地解析实际的配置文件，可以使用 grep 或者 jq （假设您使用的是分布式连接）