我需要将SQL Server中的文件传输到Minio。当一个文件被写入MS SQL Server中的表时,我想通过Kafka s3连接器将其写入/传输到Minio桶中。是否可以通过Kafka?
h7appiyu1#
是的,这是可能的。1.使用Kafka Connect(例如JDBC源连接器或Debezium或other options)从MS SQL接收数据1.通过S3接收器连接器将数据流传输到Minion。This blog表示兼容。请参见this video以获取连接器的示例有关Kafka连接的一般理解,请参见this talk。
46scxncf2#
也许你想看看SQL2022中新的Polybase特性,它应该允许你直接从SQL2022访问S3,不确定对于你的场景来说Kafka是否仍然是必要的?
2条答案
按热度按时间h7appiyu1#
是的,这是可能的。
1.使用Kafka Connect(例如JDBC源连接器或Debezium或other options)从MS SQL接收数据
1.通过S3接收器连接器将数据流传输到Minion。This blog表示兼容。请参见this video以获取连接器的示例
有关Kafka连接的一般理解,请参见this talk。
46scxncf2#
也许你想看看SQL2022中新的Polybase特性,它应该允许你直接从SQL2022访问S3,不确定对于你的场景来说Kafka是否仍然是必要的?