网站文章自动采集php5.5里的动态cookie来隐藏代码

　　网站文章自动采集php5.5里的动态cookie来隐藏代码

　　网站文章自动采集php5.5里的动态cookie来隐藏代码，可以用phpstorm+iisautomator+webstorm+sublimetext+chrome。具体的只能看一下代码。这篇博客里有详细的说明。

　　很多人写爬虫，大多是要对浏览器抓取很多网页后存到本地，加密后存储到数据库，然后用php处理做成数据库对象。以下简要说说，解决爬虫爬取速度过慢的几种方法。方法一，写一个带有权限验证的，安全的，可持久化的代理ip，这样爬取慢的问题就得到了极大的缓解。比如proxysocket这个工具。这样做的另一个好处是，可以生成get端的代理ip池。

　　所以，解决爬虫爬取速度慢的一个大致方法，就是写爬虫时，借助get端的代理ip池，来达到高性能。代理ip池的爬取最好有监控。比如时不时更新一下，如果发现ip池池子里每天至少有1-2个自动变化。那就是爬虫或爬虫池没维护好。网站的监控最好来自于服务器。方法二，用正则匹配到指定关键字或字符串。用正则匹配到指定关键字或字符串后，可以反序列化成一个json文件，然后再用php的xpath去解析。

　　正则匹配到的字符串也可以理解为对象。php对象转换成json格式后可以调用json.parse去解析。比如php的parsealljson(json.stringify(url,"someresult"))即可得到一个json对象。这个json对象里记录了所有的ajax请求地址，拿到请求地址后，反序列化json对象。这时候得到的json对象，就是一个json文件。最后再爬取数据就行了。