apachenutch2.3:不会注入url(挂起)&hadoop日志显示警告

eh57zj3b  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(349)

我一直在尝试用ElasticSearch5.4设置Nutch2.3。问题很简单,因为我不能让它注入我的网址。hadoop日志显示以下警告:
慰问:

aurora apache-nutch-2.3.1 # runtime/local/bin/nutch inject urls/seed.txt
InjectorJob: starting at 2017-06-14 17:08:28
InjectorJob: Injecting urlDir: urls/seed.txt

它挂在这里

以及
hadoop日志:

aurora apache-nutch-2.3.1 # cat runtime/local/logs/hadoop.log 
2017-06-14 17:08:28,339 INFO  crawl.InjectorJob - InjectorJob: starting at 2017-06-14 17:08:28
2017-06-14 17:08:28,340 INFO  crawl.InjectorJob - InjectorJob: Injecting urlDir: urls/seed.txt
2017-06-14 17:08:28,992 WARN  util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我已经尝试过按照这个线程设置hadoop环境变量(hadoop“无法为您的平台加载本机hadoop库”警告),但是仍然得到相同的错误。
有什么想法吗?

uajslkp6

uajslkp61#

不要担心警告。我相信你运行的是linux发行版
nutch2.3与es 5.x不兼容。我已经编写了一个定制的indexwriter,它在给定的端口调用logstash,然后调用ElasticSearch。你可以尝试这种方法或其他方法。

相关问题