我试图读取一行通过Spark流从Kafka传来的传入记录有4列,其中一列有换行符,其中有双引号例子
a ,b , "hi how are you fine ",d
所以,如何读取或什么选项需要设置,而从Kafka通过Spark流读取,以便记录可以正确读取?
z0qdvdin1#
如果您正确地向kafka发送数据,那么在使用spark流式传输记录时,dstrean应该如下所示。a,b,“你好”,d现在可以使用逗号拆分记录,并将值Map到pojo类,以创建一个具有四列的dataframe/dataset
1条答案
按热度按时间z0qdvdin1#
如果您正确地向kafka发送数据,那么在使用spark流式传输记录时,dstrean应该如下所示。
a,b,“你好”,d
现在可以使用逗号拆分记录,并将值Map到pojo类,以创建一个具有四列的dataframe/dataset