如何使用flume和现有模式文件在hdfs上存储数据

0s7z1bwu  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(248)

我有来自源代码的json数据,我想使用avro格式的flume将其转储到hdfs上,我已经有了avsc文件,我对sink使用以下配置,但这不是选择我的avsc文件,而是创建自己的模式:
agent1.sinks.sink1.type=hdfs agent1.sinks.sink1.serializer=org.apache.flume.serialization.avroeventserializer$builder agent1.sinks.sink1.hdfs.path=/tmp/data agent1.sinks.sink1.schemaurl=file:///home/tmp/schema.avsc log4j.appender.flume.avroschemaurl=file:///home/tmp/schema.avsc agent1.hdfs.rollsize=1024agent1.sinks.sink1.hdfs.rollcount=0 agent1.sinks.sink1.hdfs.filetype=datastream agent1.sinks.sink1.channel=channel1
我该怎么做?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题