我怎么能运行scrapy以外的项目文件夹

u59ebvdq  于 2022-11-09  发布在  其他
关注(0)|答案(2)|浏览(190)

(1)我想使用process.crawl('spidername ')来运行一个scrapy,但是wdir不是scrapy项目目录
就像这样:

workspace  
├─ scrapy_project  
│    ├─ project_name  
│        ├─ spiders
│        │     └─ myspider.py    #import errors(2)
│        ├─ items.py
│        └─ settings.py
└─ run.py   # (1)i want to run this file to run the spider

(2)另一个问题是当我在www.example.com中导入scrapy_project.project_name.items时出现错误myspider.py
我如何将www.example.com导入items.py到myspider.py

rpppsulh

rpppsulh1#

最惯用的方法是将scrapy_project包安装到你想运行它的任何环境中,然后以这种方式导入你的方法。这样你就可以在任何你想使用的地方使用你编写的零碎代码。有关打包代码的更多信息,请参见https://packaging.python.org/en/latest/tutorials/packaging-projects/
一旦你有了你的软件包scrapy,你就可以使用一个shell来安装它:

pip3 install /path/to/scrapy
o4tp2gmn

o4tp2gmn2#

如果您尝试从www.example.com访问“spider”run.py,请使用相对路径:scrapy_project\project_name\spiders
如果您只想使用该函数,则必须将“spider”导入到“run.py“中,如下所示:

from spiders import function

(可能要使用相对路径,scrapy_project\project_name\spider)

相关问题