测试spark java应用程序的最佳方法是什么?

raogr8fs  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(200)

目前,我正在创建使用javasparkapi中的一些数据集的类。使用spark.sql()方法从配置单元表填充这些数据集。
因此,在执行了一些sql操作(比如连接)之后,我有了一个最终的数据集。
现在,我正在努力研究如何为这些类编写单元测试用例。我可以提供该类的一个方法的以下示例:

public Dataset<Row> loadDataSetA() {

    final SparkSession sc; // This has been initialized in another class

    final Dataset<Row> dataSetA = sc.sql("QUERY")
                                .where(upper(col(COL_A)).isin(TYPES));

    final Dataset<Row> dataSetAFinal = dataSetA.select(col(COL_A));

    return dataSetAFinal;
}

我想知道是否有一个框架或任何例子,我可以参考,为这类方法和类编写好的测试用例。
当做

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题