在snowflake kafka连接器中，我可以使用预定义的数据类型，因为它在内部使用snowpipe来加载数据。我试图在这里实现的是在将数据加载到stage表时从json消息中删除外部数组。
yeotifhr1#
我认为最简单的解决方案是在kafka连接器加载数据的表上创建一个视图。我有几个类似的案例，创建视图来操作数据以供使用，并屏蔽pii信息，而不需要辅助表或进程。如果数据量变大和/或您的视图性能不能满足您的需要，您可以始终创建物化视图。
tjvv9vkg2#
今天没有这样的选择。您可以在目标kafka表上创建一个流，并基于该流创建一个任务。然后转换到一个没有json外部数组的新表。我建议提交一个新的想法，因为这是一个很好的功能请求：https://community.snowflake.com/s/ideas
2条答案
按热度按时间yeotifhr1#
我认为最简单的解决方案是在kafka连接器加载数据的表上创建一个视图。
我有几个类似的案例，创建视图来操作数据以供使用，并屏蔽pii信息，而不需要辅助表或进程。
如果数据量变大和/或您的视图性能不能满足您的需要，您可以始终创建物化视图。
tjvv9vkg2#
今天没有这样的选择。您可以在目标kafka表上创建一个流，并基于该流创建一个任务。然后转换到一个没有json外部数组的新表。
我建议提交一个新的想法，因为这是一个很好的功能请求：
https://community.snowflake.com/s/ideas