带flume的unicode字符

ffx8fchx 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(360)

我正在尝试使用flume将csv文件放入hdfs，该文件还包含一些unicode字符。
一旦文件存在于hdfs中，我就试图查看内容，但无法正确地查看记录。
文件内容

Name    age  sal    msg

Abc     21  1200    Lukè éxample àpple

Xyz     23  1400    er stîget ûf mit grôzer

控制台输出
是的 hdfs dfs -get /flume/events/csv/events.1234567 下面是输出

Name,age,sal,msg

Abc,21,1200,Luk��xample��pple

Xyz,23,1400,er st�get �f mit gr�zer

flume支持unicode字符吗？如果不是，怎么处理

hadoop flume csv unicode

来源：https://stackoverflow.com/questions/30164612/unicode-character-with-flume

1条答案

按热度按时间

gg58donl1#

是的，flume支持unicode字符。您可以使用flume读取unicode文件并将数据传输到hdfs。这看起来像是其他问题。请将hdfs.filetype更改为datastream，然后查看是否可以正确读取输出。

a1.sources = r1
a1.channels = c1
a1.sinks = k1

# source

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/user/shashi/unicode/french.txt
a1.sources.r1.restart = true

# sink

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.fileType = DataStream

# channel

a1.channels.c1.type = memory

# connect

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

下面是我使用的一个简单配置。

赞(0）回复(0）举报 2021-06-02

我来回答

带flume的unicode字符

1条答案

相关问题

热门标签

最新问答