spark流式读取列,其中包含换行符

mfuanj7w  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(445)

我试图读取一行通过Spark流从Kafka传来的传入记录有4列,其中一列有换行符,其中有双引号
例子

a ,b , "hi
how are you
fine
",d

所以,如何读取或什么选项需要设置,而从Kafka通过Spark流读取,以便记录可以正确读取?

z0qdvdin

z0qdvdin1#

如果您正确地向kafka发送数据,那么在使用spark流式传输记录时,dstrean应该如下所示。
a,b,“你好”,d
现在可以使用逗号拆分记录,并将值Map到pojo类,以创建一个具有四列的dataframe/dataset

相关问题