hdfs—使用nifi处理器将facebook数据获取到hadoop的过程

roejwanj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(359)

有没有任何可能的方法可以使用nifi处理器将facebook数据获取到hdfs?到目前为止,我还没有找到关于这个案子的任何来源或样本……如果可能的话?程序是什么?

ycl3bljg

ycl3bljg1#

您应该能够使用http处理器(gethttp、posthttp、invokehttp)与facebook api交互。在opengraph api(可能还有其他api)的情况下,您需要https,因此必须设置ssl上下文等。有一个很好的交流https://community.hortonworks.com/questions/20424/add-certificates-facebook-to-apache-nifi.html 解释如何做到这一点。
一旦数据从facebook和流中出来,就可以使用puthdfs将文件写入hadoop。

相关问题