使用flume导入csv

kdfy810k  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(420)

我正在尝试使用flume将csv文件导入hdfs。但我得到“线路长度超过最大2048”这个警告,线路被截断。谁能告诉我怎么解决这个问题吗。
下面是我的源文件--

a1.sources = s
a1.channels = c
a1.sinks = sk

a1.sources.s.type = spooldir
a1.sources.s.spoolDir = /home/itelligence/Desktop/Project 2

a1.channels.c.type = file

a1.sinks.sk.type = hdfs
a1.sinks.sk.hdfs.path = /project 2
a1.sinks.sk.hdfs.fileType = DataStream

a1.sources.s.channels = c
a1.sinks.sk.channel = c

先谢谢你

xoefb8l8

xoefb8l81#

将此行添加到源文件

a1.sources.s.deserializer.maxLineLength = <MAXIMUM_LINE_LENGTH>

相关问题