我正在尝试使用springcloud创建数据流管道,数据流使用shell(而不是ui)。源是twitterstream,而接收器是文件。下面是我配置文件接收器的步骤: dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"
我可以使用Kafka主题中的数据,但无法在上面的接收器位置上写入,甚至没有创建文件。部署流时没有错误日志。最终我将把它从本地文件系统改成hdfs。少了什么吗?
ps:我尝试了defaultfilesink(没有定义),它应该在/tmp/xd/output中创建默认文件,但也没有成功。
1条答案
按热度按时间nwo49xxi1#
在最新的1.0.0.release(ga)版本中,以下流定义起作用。
dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"
需要指出的是:1) 那个
twitterstream
源不支持--credentials
作为ootb财产。看这里。2) 那个
file
Flume不支持--filename
作为ootb财产;你必须使用--name
相反。看这里。