嗨,我是一个在韩国的网络程序员,我开发了一种方法来抓取大量的商品信息。我在我们的webapplication(由spring制作)中制作了它。它是通过请求下面的特定url来激活的
@requestmapping(value=“/navercrawljobajax”,products=“应用程序/json;字符集=utf8“)
当我在本地tomcat服务器中激活它时,它工作正常。但是当我请求实际运行的服务器的url时,它被这个方法(org/apache/http/impl/client/internalhttpclient.doexecute(httphost,httprequest,httpcontext))阻塞了
它也可以在实际运行的服务器上工作。但是用起来太慢了。。。。
有什么帮助吗?t、 t型
//code start
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45);//maybe stucked in here
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setCssEnabled(false);
webClient.addRequestHeader("Accept-Language", "ko-KR,ko;q=0.8,en-US;q=0.6,en;q=0.4, value");
webClient.addRequestHeader("Accept-Charset", "windows-949,utf-8;q=0.7,*;q=0.3");
webClient.getCookieManager().setCookiesEnabled(true);
webClient.setJavaScriptTimeout(50000);
String result = "S";
String url = "https://adcenter.shopping.naver.com/member/login/form.nhn";
HtmlPage page;
JSONObject obj = new JSONObject();
obj.put("resultCode", result);
obj.put("httpClientVer", HttpClientBuilder.class.getProtectionDomain().getCodeSource().getLocation());
暂无答案!
目前还没有任何答案,快来回答吧!