curl Web抓取但不抓取更改

dy1byipe 于 2022-11-13 发布在其他

关注(0)|答案(1)|浏览(160)

正在尝试监视此页面上的更改：at5.nl/zoek/pijp.“pijp”是这里的查询关键字。它显示了一个文章列表，最新的文章在上面：
[enter image description here][1]当我用curl或wget刮擦此页时（示例附后）我没有看到任何变化的结果文件随着时间的推移或使用不同的关键字。（很明显）我在浏览器中看到的内容没有任何相关的东西。我遇到了很多javascript。我的第一个目标只是看看浏览器输出中是否有什么变化。该脚本每5分钟检查一次，然后在发生更改时发送@邮件。
正如你可能已经猜到的，我绝对不是一个Web开发人员。关于我如何才能得到我想要的修改，有什么建议吗？（相当精通bash）
下面是我使用cURL获得的文件的链接：
https://drive.google.com/file/d/1-QzoTgbqc_m96YOx6qBh1eIBDyD5HfW_/view?usp=sharing

curl

来源：https://stackoverflow.com/questions/73390380/web-scraping-but-not-scraping-changes

1条答案

按热度按时间

xiozqbni1#

正如@James指出的，您可以使用API-url并根据自己的喜好解析生成的JSON。JSON解析器xidel可以帮助您：

$ xidel -s \
  -d '{{"searchTerm":"pijp"}}' \
  "https://ditisdesupercooleappapi.at5.nl/api/search" \
  -e '$json/(articles)()[created gt (current-dateTime() - dateTime("1970-01-01T00:05:00Z")) div dayTimeDuration("PT1S")]'

“pijp”（作为JSON对象中的一个值）被发送（POST请求）到API-url，然后解析得到的JSON，使得它只返回那些具有created属性的文章，这些文章的值（Epoch timestamp）只有5分钟的历史。

赞(0）回复(0）举报 2022-11-13

我来回答

curl Web抓取但不抓取更改

1条答案

相关问题

热门标签

最新问答