本文最后更新于10 天前,其中的信息可能已经过时,如有错误请发送邮件到likethedramaallthetime@gmail.com
蒟蒻在net-surfing的时候刷到的获取有点用的小知识,于是在这里记录。
网站支持
需要一个可以将curl转换为代码的网站
具体操作
1.在开发者工具中打开“网络”选项卡
2.右键单击一个请求
3.点击“复制” → “以 cURL 格式复制”
4.将它粘贴到网站的 curl 命令框中,选取转换目标代码
以python
代码为例,在获取相应的请求后,得到response
,特定状态下的网站源码即为:
response.text
思考🤔
有些网站上的内容需要在登录后才能进行爬取,这个方法可以提供相应的爬取思路。具体如下:
思路
1.通过curl转换获取特定状态下的站点源码
2.获取需要的信息
3.后续处理