我正在尝试将同事编写的自定义spark连接器迁移到spark 3.0。api已经发生了巨大的变化（总体来说是为了更好的imh）。有一件事我很难弄清楚 SaveMode 用于写入Dataframe的。它以前是作为抽象方法的输入参数之一提供的 createWriter 的 WriteSupport 特质。然而 WriteSupport 已更改为 SupportsWrite 等价的方法（如果你可以这么称呼的话）是 newWriteBuilder 获取类型为的参数 LogicalWriteInfo ，它没有类型的成员 SaveMode .
我也调查过 WriteBuilder , BatchWrite , DataWriterFactory ，和 DataWriter[T] 无济于事。不幸的是，我找不到任何关于这个主题的文档。任何帮助都将不胜感激。
谢谢
1条答案
按热度按时间cvxl0en21#
SaveMode根据这一问题，它正在被淘汰。相反，添加了新的特性，可以实现相同的功能：SupportsDynamicOverwriteSupportsOverwriteSupportsTruncate