在何处查看snowflake Kafka连接器日志

fzsnzjdm 于 11个月前发布在 Apache

关注(0)|答案(2)|浏览(167)

我正在尝试实现 snowflake Kafka连接器以真实的将数据摄取到 snowflake 中。个人系统上的Kafka安装完成，我能够成功地实时推送事件和订阅事件。但是 snowflake Kafka连接器无法正常工作，并且没有创建它应该作为其默认属性的表。我想检查Kafka连接器日志以查看它失败的地方，但我没有能够找到 snowflake Kafka连接器日志。下面是我检查的要点。
1.测试了 snowflake 中的密钥对身份验证，
1.用户有权在目标数据库和模式上创建阶段、管道和表
下面是日志目录

server.properties => log.dirs=E:/kafka_logs/kafka_server

字符串
我看到一个日志文件创建于

E:/kafka_logs/kafka_server/<topic_name>-0/0000000.log but the data is not in readable format

型
能否请指导我在哪里可以检查SF Kafka连接器日志的故障排除？

apache-kafka

来源：https://stackoverflow.com/questions/77520336/where-to-check-snowflake-kafka-connector-logs

2条答案

按热度按时间

oyxsuwqo1#

将根据为连接器设置的驱动程序配置和属性生成日志。
详细说明这些标志的文档链接是：https://community.snowflake.com/s/article/How-to-generate-log-file-on-Snowflake-connectors#kafka
根据这些标志，您可以获得更具体和详细的日志，以了解集成中到底出了什么问题。
https://docs.snowflake.com/en/user-guide/kafka-connector-ts的

赞(0）回复(0）举报 11个月前

uklbhaso2#

根本原因：我错过了启动连接器的最后一步：）

E:/kafka_2.12-3.6.0/bin/windows/connect-standalone.bat E:/kafka_2.12-3.6.0/config/connect-standalone.properties E:/kafka_2.12-3.6.0/config/SF_connect.properties

字符串

SF连接器日志：未创建单独文件，SF连接器日志推送到E：\kafka_2.12-3.6.0\logs\connect.log

[SF_KAFKA_CONNECTOR] pipe SNOWFLAKE_KAFKA_CONNECTOR_demo_kafka_topic_sf_stream_PIPE_hello_world_tbl_0, flush pipe: demo_kafka_topic_sf_stream/hello_world_tbl/0/1544_1603_1700557085192.json.gz (com.snowflake.kafka.connector.internal.SnowflakeSinkServiceV1:79)
[2023-11-21 14:28:35,763] INFO [demo_kafka_topic_sf_stream|task-0] 
[SF_KAFKA_CONNECTOR] pipe SNOWFLAKE_KAFKA_CONNECTOR_demo_kafka_topic_sf_stream_PIPE_hello_world_tbl_0, flush pipe: demo_kafka_topic_sf_stream/hello_world_tbl/0/1604_1663_1700557115302.json.gz (com.snowflake.kafka.connector.internal.SnowflakeSinkServiceV1:79)
[2023-11-21 14:28:38,414] INFO [demo_kafka_topic_sf_stream|task-0] 
[SF_KAFKA_CONNECTOR] searched 3 files in ingest report, found 2

型

赞(0）回复(0）举报 11个月前

我来回答

在何处查看snowflake Kafka连接器日志

2条答案

相关问题

热门标签

最新问答