(1)我想使用process.crawl('spidername ')来运行一个scrapy,但是wdir不是scrapy项目目录
就像这样:
workspace
├─ scrapy_project
│ ├─ project_name
│ ├─ spiders
│ │ └─ myspider.py #import errors(2)
│ ├─ items.py
│ └─ settings.py
└─ run.py # (1)i want to run this file to run the spider
(2)另一个问题是当我在www.example.com中导入scrapy_project.project_name.items时出现错误myspider.py
我如何将www.example.com导入items.py到myspider.py
2条答案
按热度按时间rpppsulh1#
最惯用的方法是将
scrapy_project
包安装到你想运行它的任何环境中,然后以这种方式导入你的方法。这样你就可以在任何你想使用的地方使用你编写的零碎代码。有关打包代码的更多信息,请参见https://packaging.python.org/en/latest/tutorials/packaging-projects/一旦你有了你的软件包
scrapy
,你就可以使用一个shell来安装它:o4tp2gmn2#
如果您尝试从www.example.com访问“spider”run.py,请使用相对路径:
scrapy_project\project_name\spiders
如果您只想使用该函数,则必须将“spider”导入到“run.py“中,如下所示:
(可能要使用相对路径,scrapy_project\project_name\spider)