GoLang爬取花瓣网美女图片

由于之前一直想爬取花瓣网() 的图片,又迫于没时间,所以拖了很久。 鉴于最近在学go语言,就刚好用这个练手了。 预览

进入网站后,首页大概是这个样子

GoLang爬取花瓣网美女图片

分析

网站采用的流式布局,动态加载。未经渲染的初始页面源代码中包含有20张图片的相关信息。
每张图片有它的pin_id和key, pin_id差不多就是id,而key应该是文件的特性码,由此key拼接url可以直接得到图片的地址。

使用了动态加载,鉴于这个比较简单,就没必要用无头浏览器了, 直接需要抓包分析,来手动模拟翻页请求。

翻页的一个实例:

?max=2117952645&limit=8&wfl=1

有三个参数max就是图片的id, limit是指定了返回图片的数量,而那个wfl就不知道了,变成0好像也没啥变化,就不管它了。

这里我想,要是直接把limit变成一个很大的数,翻页的过程不就省略了吗

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpzfjd.html