httpclient是超流的(htmlunit 2.24)

pes8fvy9  于 2021-07-03  发布在  Java
关注(0)|答案(0)|浏览(205)

嗨,我是一个在韩国的网络程序员,我开发了一种方法来抓取大量的商品信息。我在我们的webapplication(由spring制作)中制作了它。它是通过请求下面的特定url来激活的
@requestmapping(value=“/navercrawljobajax”,products=“应用程序/json;字符集=utf8“)
当我在本地tomcat服务器中激活它时,它工作正常。但是当我请求实际运行的服务器的url时,它被这个方法(org/apache/http/impl/client/internalhttpclient.doexecute(httphost,httprequest,httpcontext))阻塞了
它也可以在实际运行的服务器上工作。但是用起来太慢了。。。。
有什么帮助吗?t、 t型

//code start
    WebClient webClient =  new WebClient(BrowserVersion.FIREFOX_45);//maybe stucked in here
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    webClient.getOptions().setUseInsecureSSL(true);
    webClient.getOptions().setCssEnabled(false);
    webClient.addRequestHeader("Accept-Language", "ko-KR,ko;q=0.8,en-US;q=0.6,en;q=0.4, value");
    webClient.addRequestHeader("Accept-Charset", "windows-949,utf-8;q=0.7,*;q=0.3");
    webClient.getCookieManager().setCookiesEnabled(true);
    webClient.setJavaScriptTimeout(50000);

    String result = "S";
    String url = "https://adcenter.shopping.naver.com/member/login/form.nhn";
    HtmlPage page;
    JSONObject obj = new JSONObject();
    obj.put("resultCode", result);
    obj.put("httpClientVer", HttpClientBuilder.class.getProtectionDomain().getCodeSource().getLocation());

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题