如果你不介意略显复杂的逻辑，拉斐尔·罗斯的答案对于应用过滤器这一特定问题来说是一个很好的选择。适用于任何条件转换的一般解决方案(不只是过滤并且不只是在决策分支之一上什么都不做)是使用transform，例如，

spark
  .sparkContext.textFile(s3BrowseIndex)
  // split text dataset
  .map(line => line.split("\\s+"))
  // get types for attributes
  .map(BrowseIndex.strAttributesToBrowseIndex)
  // cast it to a dataset (requires implicit conversions)
  .toDS()
  .transform { ds =>
    // pick rows for the given marketplaces
    if (mids.isEmpty) ds
    else ds.where($"mid".isin(mids: _*))
  }
  .transform { ds =>
    // pick rows for the given indices
    if (indices.isEmpty) ds
    else ds.where($"index".isin(indices: _*))
  }

如果您使用的是稳定类型的数据集(或 Dataframe ，即Dataset[Row])，则transform可能非常有用，因为您可以构建转换函数序列，然后应用它们：

transformations.foldLeft(ds)(_ transform _)

在许多情况下，这种方法有助于代码重用和可测试性。

您可以使用短路评估，这应该仅在所提供的Seq不为空时应用过滤器：

import org.apache.spark.sql.functions.lit

spark
    .sparkContext.textFile(s3BrowseIndex)
    // split text dataset
    .map(line => line.split("\\s+"))
    // get types for attributes
    .map(BrowseIndex.strAttributesToBrowseIndex)
    // cast it to a dataset (requires implicit conversions)
    .toDS()
    // pick rows for the given marketplaces
    .where(lit(mids.isEmpty) or $"mid".isin(mids: _*))
    // pick rows for the given indices
    .where(lit(indices.isEmpty) or $"index".isin(indices: _*))