从ms sql server到s3 bucket的Kafka文件传输?

liwlm1x9  于 2022-12-03  发布在  SQL Server
关注(0)|答案(2)|浏览(116)

我需要将SQL Server中的文件传输到Minio。当一个文件被写入MS SQL Server中的表时,我想通过Kafka s3连接器将其写入/传输到Minio桶中。是否可以通过Kafka?

h7appiyu

h7appiyu1#

是的,这是可能的。
1.使用Kafka Connect(例如JDBC源连接器或Debeziumother options)从MS SQL接收数据
1.通过S3接收器连接器将数据流传输到Minion。This blog表示兼容。请参见this video以获取连接器的示例
有关Kafka连接的一般理解,请参见this talk

46scxncf

46scxncf2#

也许你想看看SQL2022中新的Polybase特性,它应该允许你直接从SQL2022访问S3,不确定对于你的场景来说Kafka是否仍然是必要的?

相关问题