我试图获取spark sql查询的结果,它应该是一个列/行的整数值,并将其存储在scala变量中以便进一步使用。下面是我的代码:
val max_val_frame = spark.sql(f"""select max(val) as max_val from temp_table_1""");
//code to cast max_val_frame to integer
var max_val = //casted value from max_val_frame
var init_val = 1;
while (init_val <= max_val) {
print(init_val);
init_val = init_val + 1;
}
有谁知道如何将spark dataframe对象转换为scala整数吗?
我尝试了很多方法,包括先将整个数据框架转换为字符串,然后转换为int,但它不能正确地将值提取为int。
1条答案
按热度按时间xuo3flqw1#
可以使用以下表达式:
第一个
.head
或(0)
占据第一行,然后您可以使用getInt(0)
或getDouble(0)
解析该行索引为0
的元素。