我有个关于星火行动的问题。我正在使用spark,scala和mysql数据库。
我正在将表中的记录(例如table)读入数据集[table]。我想将dataset[table]转换为dataset[pqrtable],方法是对dataset[table]进行diff结构的聚合。
如果我迭代dataset[table],我必须对此调用collect方法,这会影响性能。
用优化的方法将数据集转换成其他结构类型的数据集还有哪些方法
我有个关于星火行动的问题。我正在使用spark,scala和mysql数据库。
我正在将表中的记录(例如table)读入数据集[table]。我想将dataset[table]转换为dataset[pqrtable],方法是对dataset[table]进行diff结构的聚合。
如果我迭代dataset[table],我必须对此调用collect方法,这会影响性能。
用优化的方法将数据集转换成其他结构类型的数据集还有哪些方法
暂无答案!
目前还没有任何答案,快来回答吧!