在使用kafka连接器时,在datastage中哪里可以传递属性文件

qgzx9mmu  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(541)

我想更改一些属性,例如, security.protocolSASL_PLAINTEXTSASL_SSL . 但是datastage中的kafka连接器的属性数量非常有限(host、use kerberos、principal name、keytab、topic name、consumer group、max poll records、max messages、reset policy timeout和classpath)
在阅读本文档时,首先要做的是传递jaas配置文件。但我的问题是:
我应该把这个文件放在哪里?在数据台还是Kafka那边?
如何指向此文件?
这就是我所尝试的:
添加了 before-job subroutine 并使用以下命令:

export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf"

添加了 -Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.confKafka Client Classpath 在datastage的kafka连接器属性中
但不管我做什么,每次我运行这个作业时 security.protocol 保持不变:

Kafka_Connector_2,1: security.protocol = SASL_PLAINTEXT

意味着它没有读取属性文件。
你有没有遇到过类似的问题?

mbjcgjjk

mbjcgjjk1#

kafka连接器确实支持sasl ssl kafka连接器属性这是在jr61201 for 11.5中添加的,并在11.7.1.1中提供
如果您想插入一个jvm选项,例如

-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf

您应该能够利用cc\u jvm\u options环境变量。

相关问题