请求\u html分页:无法存储列表

ep6jt1vc  于 2021-09-29  发布在  Java
关注(0)|答案(0)|浏览(188)

我尝试使用request_html将各种页面存储为列表。鉴于无法存储整个页面,您是否可以帮助存储为页面链接列表。。。
我能知道我失踪的地方吗?。我可以知道如何创建像scrapy这样的分页吗?

from requests_html import HTMLSession

        def pagecheck(checkl):
            x=se.get(checkl)
            if x.html.find('div.isaiminida'):
                print (''.join(x.html.find('a.pagination_next',first=True).absolute_links))
                xplink= (''.join(x.html.find('a.pagination_next',first=True).absolute_links))
                if x.html.find('a.pagination_next'):
                    pages.append(xplink);return p(xplink)
            else:
                print ('Page doesnt exist')

        def p(xplink):
            x=se.get(xplink)
            if x.html.find('a.pagination_next'):
                pagecheck(x.url)
            else:
                print (z,'\t Pages scrap completed.....')
            return pages

        if __name__ == '__main__':

            #:: movies index
            xa = ['a','z','c']
            for z in xa:

                url = f'https://isaidubb.co/tamil-atoz-dubbed-movies/{z}'
                se = HTMLSession()
                x=se.get(url)
                pages =[];px=[]
                pages=pagecheck(x.url)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题