在写入snowflake之前,是否总是需要将glue dynamic frame转换为spark dataframe?我没找到别的办法。对2000万张唱片的这种转换占用了大部分时间。写作只需要2分钟。
有人这样做过吗,比如把动态框架直接写到snowflake上?另外,aws glue不支持jdbc连接到snowflake。所以在作业参数中提供连接细节。
在写入snowflake之前,是否总是需要将glue dynamic frame转换为spark dataframe?我没找到别的办法。对2000万张唱片的这种转换占用了大部分时间。写作只需要2分钟。
有人这样做过吗,比如把动态框架直接写到snowflake上?另外,aws glue不支持jdbc连接到snowflake。所以在作业参数中提供连接细节。
暂无答案!
目前还没有任何答案,快来回答吧!