als.checkpointinterval越高或越低越好?

vatpfxk5  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(376)

设置时 ALS.checkpointInterval ,设置时应该考虑什么?较高或较低的间隔意味着什么?

e37o9pze

e37o9pze1#

als.checkpointinterval值是指缓存将被检查的次数的迭代次数。
e、 g.如果interval设置为10,则表示缓存将每10次迭代获得一次检查点。
检查点有助于恢复(当节点失败时)和长沿袭导致的堆栈溢出异常。它还有助于消除磁盘上的临时无序文件,这在有许多als迭代时非常重要。
默认值为10。因此,根据您的系统内存,现在可以设置较低或较高的值

相关问题