您只是忘记了[-1]

yield response.follow( next_page[-1] )

完整的工作代码，但我使用较短的css选择器
接下来的页面使用相对URL，所以它需要response.urljoin()来创建绝对URL。

import scrapy

class MySpider(scrapy.Spider):

    name = 'my_spyder'

    start_urls = ['https://www.bernama.com/en/crime_courts/']

    def parse(self, response):
        print("url:", response.url)

        for news in response.css('h6 a'):
            yield {
                    'title': news.css('::text').get(),
                    'link' : response.urljoin(news.css('::attr(href)').get()),
                    #'link' : response.urljoin(news.attrib['href']),
                    'page' : response.url,
                  }

        next_page = response.css('a.page-link::attr(href)').getall()

        if next_page[-1] != "#":
            yield response.follow(next_page[-1])

from scrapy.crawler import CrawlerProcess

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',
    'FEEDS': {'output.csv': {'format': 'csv'}},  # new in 2.1
})
c.crawl(MySpider)
c.start()

顺便说一句：

两个版本的CSS选择器也得到链接到YouTube上的视频，但他们是相同的每一页和CVS有相同的链接很多次。
如果你只需要新闻没有视频，那么它可能需要获得部分，其中有row与文本More news和稍后搜索只在这一部分。

sections = response.xpath('//div[@class="row"]/div[div[@class="row"]//span[contains(text(), "More news")]]')

# print(sections)

for news in sections[0].css('h6 a'):
    yield{
        'title': news.css('::text').get(),
        'link' : response.urljoin(news.css('::attr(href)').get()),
        'page' : response.url,
    }