我是spark社区的新手。如果这个问题没有意义，请忽略。
我的pysparkDataframe只是在“排序”中花费了一小部分时间（毫秒），但是移动数据要花费很多时间（>14秒）。
说明：我有一个巨大的arrow recordbatches集合，它平均分布在我的所有工作节点的内存中（在plasma\u存储中）。目前，我正在主节点中收集所有这些recordbatches，合并它们，并将它们转换为一个single sparkDataframe。然后我对那个Dataframe应用排序函数。
sparkDataframe是一个集群分布式数据采集系统。
所以我的问题是：有没有可能从worker节点内存中所有已经分发的arrow recordbatches数据集合中创建一个sparkDataframe？因此，数据应该保留在各自工作节点的内存中（而不是将其带到主节点，合并，然后创建分布式Dataframe）。
谢谢！
1条答案
按热度按时间zbq4xfa01#
是的，你可以把数据储存在Spark里
cache，每当您尝试获取数据时，它都会从缓存而不是源中获取数据。请使用下面的扭结了解更多关于缓存的信息，
https://sparkbyexamples.com/spark/spark-dataframe-cache-and-persist-explained/where df.cache（）是否为storedhttps://unraveldata.com/to-cache-or-not-to-cache/