使用带有avro数据输入的spark filestream

btxsgosb  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(144)

我正在尝试使用filestream()创建spark流应用程序。文件指南规定:

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)

我需要传递keyclass,valueclass,inputformatclass。我的主要问题是,对于avro格式的数据,这些参数可以使用什么?
注意:我的avro数据已经在数据中嵌入了模式。
我在这里发现了一个相关的问题。但是他们的输入是Parquet格式的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题