无法使用spring云数据流将流数据写入接收器文件

mm5n2pyu  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(419)

我正在尝试使用springcloud创建数据流管道,数据流使用shell(而不是ui)。源是twitterstream,而接收器是文件。下面是我配置文件接收器的步骤: dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt" 我可以使用Kafka主题中的数据,但无法在上面的接收器位置上写入,甚至没有创建文件。部署流时没有错误日志。最终我将把它从本地文件系统改成hdfs。少了什么吗?
ps:我尝试了defaultfilesink(没有定义),它应该在/tmp/xd/output中创建默认文件,但也没有成功。

nwo49xxi

nwo49xxi1#

在最新的1.0.0.release(ga)版本中,以下流定义起作用。 dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt" 需要指出的是:
1) 那个 twitterstream 源不支持 --credentials 作为ootb财产。看这里。
2) 那个 file Flume不支持 --filename 作为ootb财产;你必须使用 --name 相反。看这里。

相关问题