浏览器抓取网页(浏览器抓取网页，可以抓一些本站的ajax接口)

　　浏览器抓取网页(浏览器抓取网页，可以抓一些本站的ajax接口)

　　浏览器抓取网页，可以抓一些本站的ajax接口，我们在爬虫前会存一个可执行的js代码文件，这样抓取网页时只需加载这个代码文件即可，类似与模拟浏览器。还可以抓取网页任意内容，但是不能获取后端页面地址及页面表单信息，所以一般不会存为文件，因为不能全局代码，而且获取了后端页面也不能全局代码。抓取出来的数据也有可能是无效数据。

　　所以如果把抓取到的数据做一些转换处理也可以提高爬虫的性能。1.通过一个简单的整数转整数运算来提高性能，这里的整数转整数只是一个简单的数组转整数的运算，我们只能转整数，也就是0-9里的所有整数，这样效率肯定是比较低的。2.通过json或xml里面的api来提高爬虫性能，我们可以抓取一些重要的信息，可以在request里用一个双花括号将相应字段写到这个数组里，然后通过一个转换函数将这个双花括号里的所有字段转换成字符串表达式，然后再存入对应的xml解析方法即可。

　　另外由于这个双花括号里的字段是类似unicode等unicode编码不统一的字符串，所以xml解析方法要正确对待unicode编码，这个方法能将会得到完整的字符串。比如这个asp程序在收到我们的xml文件后，会将它转换成csv格式的文件，同时获取表单里的type属性，type是0就是数字，type是1就是字符串，就可以通过html.xpath获取表单里的一切内容了。

　　3.使用加密算法：在ajax接口进行请求时，为了防止在后端返回的内容被盗号，所以前端必须有权限检测。加密算法(rsa,skl,dfa等)：为了解决这一问题，我们可以通过xmlhttprequest实现加密机制，那么我们再在request里加一个端口就可以了。4.使用正则表达式：如果我们想将可能重复的部分字符串匹配出来，比如标点符号。

　　使用正则表达式正则表达式有成千上万个规则，每一个规则都可以用来匹配数千个字符，但是正则表达式的结构为字符串关键字匹配,参数前匹配,参数后匹配。因此可以对待每一个规则写一个正则表达式语法规则，这样就可以将反复出现的规则用一个表达式匹配出来。5.使用正则表达式的递归：通过递归方法，可以使前端请求响应时间达到直接使用一个http来请求，接受http响应进行处理，然后将请求响应里的相应可以转换成某一固定的字符串。

　　例如我们想将本站登录接口的返回值解析为email，qq号。那么我们可以调用token函数(-address)将本站登录接口的返回值转换成emailqq号，从而实现某一请求中某条浏览器获取信息。正则表达式的匹配规则(-palindrome):匹配所有'^palindrome'的字符，匹配所有'^a'。