传递给spark的streamingcontext.filestream[k，v，f](“directory”)的key、value和inputformat类型的性质是什么

thtygnil 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(584)

据我所知，来自目录的流式文本文件需要类型为 LongWritable ，值为 Text ，以及 TextInputFormat . 它们在 textFileStream() 方法。
在这种情况下，键是行号，值是该行上的文本吗？
键和值类型应该是什么 ParquetInputFormat -更一般地说，对于其他文件类型，我如何自己解决这个问题？
另外，这些类型与 DStream 方法返回的？如果我传递一个parquet文件，它有行，比如说，100列，那么spark如何将其解析为rdd和dstream？

hadoop scala apache-spark spark-streaming

来源：https://stackoverflow.com/questions/35269533/what-is-the-nature-of-the-key-value-and-inputformat-types-passed-to-sparks-st