目前,我正在创建使用javasparkapi中的一些数据集的类。使用spark.sql()方法从配置单元表填充这些数据集。
因此,在执行了一些sql操作(比如连接)之后,我有了一个最终的数据集。
现在,我正在努力研究如何为这些类编写单元测试用例。我可以提供该类的一个方法的以下示例:
public Dataset<Row> loadDataSetA() {
final SparkSession sc; // This has been initialized in another class
final Dataset<Row> dataSetA = sc.sql("QUERY")
.where(upper(col(COL_A)).isin(TYPES));
final Dataset<Row> dataSetAFinal = dataSetA.select(col(COL_A));
return dataSetAFinal;
}
我想知道是否有一个框架或任何例子,我可以参考,为这类方法和类编写好的测试用例。
当做
暂无答案!
目前还没有任何答案,快来回答吧!