reactjs React网页抓取,我们会得到许多网址,但我是如何通过的CORS?

iecba09b  于 2023-02-18  发布在  React
关注(0)|答案(1)|浏览(101)
//let firstTestURL = "https://blog.naver.com/mayoha/223015532241";
        //let testURLonProxy = "naver/siji5000/223015377877";

        let testURL = "https://peursen.tistory.com/270";
        
        axios.get(testURL)
        .then((response) =>{
            let body = response.data;
            const $ = cheerio.load(body);

            let theURLtitle = $("title").text();
            console.log(theURLtitle);
        })
        .catch(err =>{
            console.log(err);
        })

我正在使用React制作网页抓取Web程序。它有URL输入。如果用户输入URL,该程序将抓取到标题和作者。但我面临的问题,因为CORS。
所以我搜索了一下,为firstTestURL写了代理配置。
但实际上这个程序会遇到很多带有CORS的URL。
首先,我为几个重要URL编写了代理配置。但是这个测试URL很难。在这种情况下(Web平台),第一个点之前的单词是博客的名称。接下来是博客平台。
我想为此配置代理

const { createProxyMiddleware } = require('http-proxy-middleware');

module.exports = function(app){
  app.use(
    createProxyMiddleware('tistory/', {
      target: 'tistory.com/',
      pathRewrite: {
        'tistory/^':''
      },
      changeOrigin: true
    })
  )

};

是的,它不工作。我怎么能修复配置?或者你知道通过CORS?

当我只使用测试URL时,我阻止了CORS

我尝试了代理(我知道..它可能是错误的使用方式)

noj0wjuj

noj0wjuj1#

当我发帖的时候,我只用了中间件代理。但是我发现
外部代理服务器,如https://cors-anywhere.herokuapp.com/
是的,它只为开发。但它的工作。所以我决定支付代理服务器(因为我不想处理自己的代理服务器)

相关问题