我有一个spark DF，它有N个不同类型的事件。有一些列可以帮助我将数据隔离在不同的bucket中。有没有什么方法可以有效地将数据隔离/ bucketise在基于这些列的更小的数据框中？
如果有20种不同类型的事件，那么目前我在循环中运行.filter操作20次。这当然就像在嵌套框架上迭代20次，我觉得这完全是多余的。
在spark中有没有什么方法可以让我在一次迭代中创建更小的、分桶的嵌套框架？我有一种感觉，UDF可能会在这里有所帮助，但不确定如何帮助。
任何帮助都将不胜感激。短暂性脑缺血。
1条答案
按热度按时间zujrkrfu1#
当然，这里有一些在Apache Spark中过滤DataFrames的优化策略，而无需提供特定的代码：
** predicate 下推：**
利用 predicate 下推来最大限度地减少从存储中读取的数据量。在源位置进行过滤，例如Parquet或ORC文件，可以减少传输到Spark的数据量。分区修剪：
确保正确的数据分区。对分区列进行过滤允许Spark跳过阅读整个分区，从而减少处理的数据。
广播加入：
当过滤涉及到一个小的DataFrame时，使用广播连接。这可以最大限度地减少连接操作期间的数据混洗。缓存：
缓存频繁使用的 Dataframe 或部分 Dataframe ，以避免重新计算并提高性能。过滤下推到数据源：
使用外部数据源时，请确保在Spark SQL查询过程中将过滤条件下推到源。避免使用UDF：
尽量减少使用自定义函数（UDF）进行过滤，Spark内置函数经过优化，效率更高。优化存储格式：
选择Parquet或ORC等存储格式，这是列格式，允许Spark在过滤时只读取必要的列。增加列数：
通过调整spark.sql.shuffle.partitions配置来调整Spark作业的并行度。这将控制shuffle操作中使用的分区数量。在Spark SQL中使用Filter Pushdown：
如果使用Spark SQL，请在SQL中编写过滤器，以利用Catalyst优化器的过滤器下推功能。避免成本高昂的操作：
最大限度地减少资源密集型操作的使用，如在过滤之前进行排序或重新分区。通过结合这些策略，您可以提高Spark DataFrame过滤操作的效率，从而为Spark应用程序带来更好的性能。