抓取动态网页(知乎如何把一个网页爬下来?搞flask吧!)
优采云 发布时间: 2021-09-28 16:33抓取动态网页(知乎如何把一个网页爬下来?搞flask吧!)
抓取动态网页可以用imgurl()方法,这是python很早之前的方法,通过网页中的cookie,从cookie里提取title,description,transitiontime等参数,解析出图片链接,就可以定制它的url了。很久以前我用imgurl()方法做图片采集,不是很稳定,还会出现丢图片的情况,后来我采用appium这个安卓和ios双平台的api,这就是用selenium+sdk吧,很方便,可以弄出很多网页的截图,appium在跨平台方面做的比python要好很多,它只做获取,不做解析,解析更费时间,python搞一大堆代码才解析出来。
安卓的appium挺好用的,而且selenium也能做python的整合,我自己写了个第三方的测试框架,据说selenium有接口,不知道能不能用,可以免费测试,如果大家需要,私信我,我放链接给大家,测试框架的链接:密码:kafz。
python的安卓获取图片之前有个比较简单的案例用python抓取qq音乐一段音乐的图片(小米账号是否登录是一张图)可以在线看,
爬虫目前做过的有:1.-spider/spider/三种方式:官方提供的api,
来看看我的网站吧
-bootstrap/img
下面有个概念总结,相对比较全面的。
知乎如何把一个网页爬下来?
搞flask吧