在spark streaming中查看列值

kulphzqa  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(237)

使用java进行spark结构化流(<=2.3),有没有一种方法可以在不影响流的情况下查看列值?
流从源(kafka)连续读取并写入到接收器(hdfs)。
用例(1)将特定列值记录为字符串
用例(2)对于a列中的schemaid,我想将b列中的字符串解析为json-
我试过了。
from\ json函数需要模式,因为无法使用字符串和列(“a”)
自定义项返回一列
collect()似乎是一个终端操作

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题