我对sparkscala还比较陌生，我正在尝试将一个包含数百万条记录的Dataframe批量插入mssql。我正在使用azuresqldbspark进行插入，但是spark在实际插入之前会崩溃（gc限制超过或心跳没有响应）。
我已经尝试设置增加内存，执行器，超时等，但仍然无法使它写入数据库。规范化400列的表模式对我来说不是一个选项。
感谢您对我如何处理这个问题的任何建议。提前谢谢。