手机浏览器抓取网页在重新渲染还是很不错?

优采云 发布时间: 2022-06-30 22:00

  手机浏览器抓取网页在重新渲染还是很不错?

  浏览器抓取网页在重新渲染还是很不错,比如网页上写了个点击xxx可以购买,但是我电脑上没有这个,现在有这么一种方法就是先截图,然后再网上淘一个假的该网页的截图,或者直接做一个验证码,这样抓取网页就可以转化为图片。

  action=open('test.php','wb')body=action.get('user-agent')

  还有php脚本有一个直接自动抓取ajaxhttp协议页面的就是用一个url解析器转换后再转换成html所以速度不快

  

  通过ajax加载其他页面

  通过ajax加载图片

  高配手机可能可以借助app抓包工具弄出来;低配可能只能手动了。

  

  手机浏览器也能抓包,

  这个就像你开车游玩,有一种叫导航的东西,我不知道你是否能抓包弄个导航软件出来,

  chrome或者firefox中有crossjson抓包工具,可以抓。不过,其实各大浏览器都自带这个功能,所以还是建议用chrome或者firefox抓,很多网站的js都绑定在浏览器里面的。而且chrome的抓包也不会出什么问题,我通常通过ff就可以拿到js代码。ps:同意@nezhangcheng的说法,ajax的问题,一般抓包是抓不到的,可以用纯javascript抓包,不过这样速度就会慢一些。

  要抓包的是http协议页面,所以可以通过控制webpack在一定程度上可以提高效率。其他如果不是特殊需求,使用传统的xmlhttprequest就可以实现(几乎没有抓包的必要)。而我相信很多抓包工具都不支持xmlhttprequest的ajax请求,这方面可以再研究一下。(xmlhttprequest的请求速度也不快)。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线