//let firstTestURL = "https://blog.naver.com/mayoha/223015532241";
//let testURLonProxy = "naver/siji5000/223015377877";
let testURL = "https://peursen.tistory.com/270";
axios.get(testURL)
.then((response) =>{
let body = response.data;
const $ = cheerio.load(body);
let theURLtitle = $("title").text();
console.log(theURLtitle);
})
.catch(err =>{
console.log(err);
})
我正在使用React制作网页抓取Web程序。它有URL输入。如果用户输入URL,该程序将抓取到标题和作者。但我面临的问题,因为CORS。
所以我搜索了一下,为firstTestURL写了代理配置。
但实际上这个程序会遇到很多带有CORS的URL。
首先,我为几个重要URL编写了代理配置。但是这个测试URL很难。在这种情况下(Web平台),第一个点之前的单词是博客的名称。接下来是博客平台。
我想为此配置代理
const { createProxyMiddleware } = require('http-proxy-middleware');
module.exports = function(app){
app.use(
createProxyMiddleware('tistory/', {
target: 'tistory.com/',
pathRewrite: {
'tistory/^':''
},
changeOrigin: true
})
)
};
是的,它不工作。我怎么能修复配置?或者你知道通过CORS?
当我只使用测试URL时,我阻止了CORS
我尝试了代理(我知道..它可能是错误的使用方式)
1条答案
按热度按时间noj0wjuj1#
当我发帖的时候,我只用了中间件代理。但是我发现
外部代理服务器,如https://cors-anywhere.herokuapp.com/
是的,它只为开发。但它的工作。所以我决定支付代理服务器(因为我不想处理自己的代理服务器)