我在学校有一个项目是解析Web代码并将其作为数据库使用。当我尝试从(https://www.marathonbet.com/en/betting/Football/)下载数据时,我没有得到所有的数据。
下面是我的代码:
Document doc = Jsoup.connect("https://www.marathonbet.com/en/betting/Football/").get();
Elements newsHeadlines = doc.select("div#container_EVENTS");
for (Element e: newsHeadlines.select("[id^=container_]")) {
System.out.println(e.select("[class^=block-events-head]").first().text());
System.out.println(e.select("[class^=foot-market]").select("[class^=event]").text());
}
对于您获得的结果(这是最后显示的联赛):
Football. Friendlies. Internationals All bets Main bets
1. USA 2. Mexico 16 Apr 01:30 +124 7/5 23/10 111/50 +124
在她的上面是所有的联赛。
为什么我不能得到完整的数据?谢谢你的时间!
1条答案
按热度按时间fjaof16o1#
Jsoup有一个默认的主体响应限制2MB,你可以用maxBodySize(int)将其更改为任何你需要的大小
设置在关闭连接和截断输入之前从(未压缩的)连接读取到主体中的最大字节数。默认最大值为2MB。最大大小为零将被视为无限大(仅受您的耐心和计算机上可用内存的限制)。
例如:
您可能想看看Connection中的其他选项,关于如何设置请求超时、用户代理等。