stormclawler:注入新的url来爬网而不重新启动拓扑

gmxoilav  于 2021-06-24  发布在  Storm
关注(0)|答案(1)|浏览(262)

有没有办法在不停止命令行拓扑和编辑正确文件的情况下注入新的url来爬网?我想用elasticsearch做索引器

ljo96ir5

ljo96ir51#

这取决于您使用什么作为后端来存储url的状态。如果URL存储在状态索引中的elasticsearch中,则无需重新启动爬网拓扑。您可以在本地模式下单独使用injector拓扑将新的url注入到状态索引中。
solr或sql模块也是这种情况,但memoryspout+memorystatusupdater不是这种情况,因为它位于jvm中,而不是其他任何地方。
你用哪个喷口?

相关问题