动态网页抓取(动态网页抓取需要进行页面分析的时候常用抓包工具)

　　动态网页抓取(动态网页抓取需要进行页面分析的时候常用抓包工具)

　　动态网页抓取需要进行页面分析，在做页面分析的时候常用抓包工具，有对抓包流程设置抓包策略等方面进行说明。python、py2exe和fiddler包是extensionfromthelibrary包，支持全新编写的web服务，它可以作为真正的internet抓包工具，可以使用python脚本命令为web服务发送数据，避免了为不同浏览器开发脚本的麻烦。

　　使用以下命令可直接使用fiddler抓取代理以抓取页面内容。python代码如下：fromfiddlerimportwebtoolswhiletrue:proxy=webtools.getproxy("127.0.0.1")ifproxynotinwebtools.getproxy("proxy.http"):breakdefgetparams(http):withopen('page','w')asf:try:headers={"user-agent":"mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/51.0.2139.121safari/537.36"}http=urllib.urlopen(headers)returnrequest.read().decode('utf-8')excepturllib.error,e:print(e.reason)print("请求成功")print("请求错误")if__name__=='__main__':url=''proxy=webtools.getproxy('127.0.0.1')headers={"user-agent":"mozilla/5.0(windowsnt6.1;wow64)applewebkit/537.36(khtml,likegecko)chrome/51.0.2139.121safari/537.36"}proxies={'request':"post",'post':'get'}getparams(http)。