在我的sparkversion2.4.3作业中,经过所有的转换、计算和连接之后,我正在以Parquet格式将最终的Dataframe写入s3,但不管我的核心数是多少,我的作业都是以固定数量完成保存操作
对于distinct cores count-8,16,24,我的写入操作时间固定为8分钟,因此我的解决方案不具有可伸缩性我应该如何使我的解决方案具有可伸缩性,以便我的总体作业执行时间与使用的核心成比例
附加spark ui屏幕截图
在我的sparkversion2.4.3作业中,经过所有的转换、计算和连接之后,我正在以Parquet格式将最终的Dataframe写入s3,但不管我的核心数是多少,我的作业都是以固定数量完成保存操作
对于distinct cores count-8,16,24,我的写入操作时间固定为8分钟,因此我的解决方案不具有可伸缩性我应该如何使我的解决方案具有可伸缩性,以便我的总体作业执行时间与使用的核心成比例
附加spark ui屏幕截图
暂无答案!
目前还没有任何答案,快来回答吧!