Spark Scala -将查询结果存储为scala整数类型

fzsnzjdm  于 2023-05-18  发布在  Apache
关注(0)|答案(1)|浏览(237)

我试图获取spark sql查询的结果,它应该是一个列/行的整数值,并将其存储在scala变量中以便进一步使用。下面是我的代码:

val max_val_frame = spark.sql(f"""select max(val) as max_val from temp_table_1""");

//code to cast max_val_frame to integer

var max_val = //casted value from max_val_frame

var init_val = 1;

while (init_val <= max_val) {

    print(init_val);

init_val = init_val + 1;

}

有谁知道如何将spark dataframe对象转换为scala整数吗?
我尝试了很多方法,包括先将整个数据框架转换为字符串,然后转换为int,但它不能正确地将值提取为int。

xuo3flqw

xuo3flqw1#

可以使用以下表达式:

val max_val = max_val_frame.collect().head.getInt(0)

第一个.head(0)占据第一行,然后您可以使用getInt(0)getDouble(0)解析该行索引为0的元素。

相关问题