vb抓取网页内容是做不到的，楼主不用折腾了

　　vb抓取网页内容是做不到的，楼主不用折腾了

　　vb抓取网页内容是做不到的，基本上所有requests、beautifulsoup之类的http程序都不能把网页里的内容爬出来，楼主不用折腾了。之前requests爬过某保险网站的客户端数据，抓的包都是一大堆，抓取太慢了，正好那段时间我在折腾数据查询，于是我专门去抓。srtm=requests。get('/')dorm=requests。

　　request('')dokw=keydoss=key+str(dodokw[-1])dokwifss==none:sselse:rmendrm=requests。get(kw)rm=requests。get(kw[:10])print('{}'。format(rm。strip()))endrm=requests。get(kw[:10])print('{}'。format(rm。strip()))。

　　你应该要问ajax解析网页并抓取。

　　换个思路

　　先放上最后的代码：//yg6317。com/python/myapgcui9267/python/myapgcui9267。py_v2。2。3。cimportrequestsheaders={'user-agent':'mozilla/5。0(windowsnt6。1;win64;x64)applewebkit/537。

　　36(khtml,likegecko)chrome/50。3539。141safari/537。36'}frombs4importbeautifulsouplinks='//index。html'response=requests。get(url=links,headers=headers)bsobj=beautifulsoup(response,'lxml')html=bsobj。

　　xpath('//div[@class="next"]/div/h3/a/text()')data=links。xpath('//a/text()')。extract_first()。textwhiletrue:#找到最后一段'#然后遍历data和匹配xxx代码效率真心慢。