我需要使用twitter搜索api并将twitter数据导入我的hdfs。searchapi使用rest调用，我正在尝试理解如何将其用于apacheflume。我需要使用twitter的api的授权密钥，但我不明白如何使用flume实现搜索api。需要帮助！谢谢您！
neskvpey1#
首先，您需要在twitter中创建应用程序。去https://apps.twitter.com/ 并创建应用程序，然后记住生成的四个密钥-使用者密钥、使用者密钥、访问令牌和访问令牌密钥。下载 apache-flume-1.x.0-bin.tar.gz .x表示最新版本。解压文件后，将以下命令添加到 ~/.bashrc 文件：
apache-flume-1.x.0-bin.tar.gz
~/.bashrc
export FLUME_HOME=location of untar flume file export PATH=$PATH:$FLUME_HOME/bin
保存上述文件后，请运行 source ~/.bashrc 在此之后，请执行以下站点命令：https://acadgild.com/blog/streaming-twitter-data-using-flume/
source ~/.bashrc
wlzqhblo2#
在twitter中创建一个开发者帐户并生成自己的密钥。将flume-source-1.0-snapshot.jar文件添加到lib文件夹中。使用密钥创建一个flume配置文件，从twitter获取tweets并将其存储到hdfs中。使用下面的命令启动Flume命令： bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent 有关更多详细信息，请参阅以下链接：http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html
bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent
2条答案
按热度按时间neskvpey1#
首先，您需要在twitter中创建应用程序。去https://apps.twitter.com/ 并创建应用程序，然后记住生成的四个密钥-使用者密钥、使用者密钥、访问令牌和访问令牌密钥。
下载
apache-flume-1.x.0-bin.tar.gz.x表示最新版本。解压文件后，将以下命令添加到~/.bashrc文件：保存上述文件后，请运行
source ~/.bashrc在此之后，请执行以下站点命令：https://acadgild.com/blog/streaming-twitter-data-using-flume/
wlzqhblo2#
在twitter中创建一个开发者帐户并生成自己的密钥。
将flume-source-1.0-snapshot.jar文件添加到lib文件夹中。
使用密钥创建一个flume配置文件，从twitter获取tweets并将其存储到hdfs中。
使用下面的命令启动Flume
命令：
bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent有关更多详细信息，请参阅以下链接：http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html