网页内容抓取 php(网页内容抓取php代码文件加载进来（这里需要发起请求）)

　　网页内容抓取 php(网页内容抓取php代码文件加载进来（这里需要发起请求）)

　　网页内容抓取php代码解析，对于爬虫需要两步，一是把php代码文件加载进来（这里需要发起请求），二是php解析数据，我个人认为爬虫爬来的东西比较多，肯定要有个解析的过程。爬虫是解析性质的，一般也都是加载最终json数据。但是不管如何，肯定也会有很多参数之类的，需要搞清楚请求的参数，例如response返回什么数据。

　　对象作为整个请求的方法是比较重要的，每一个请求都是对应一个对象。所以抓取json数据肯定有对应的方法。比如抓取response之类的，也有httpconnection这种方法。要在爬虫中识别对象，因为如果是网页上的一个个方法，肯定有很多参数，比如http协议是cgi还是applicationjsx都有对应。

　　所以我认为只要先清楚到哪一个对象的使用，都能写一些自己的爬虫。一般json对象返回的东西都是字符串，但是存在异常字符串转换成json对象返回的情况。就像抓取的response一样，它返回的对象其实不是json对象，因为不管ajax，异步http协议，都可以返回json对象，json对象里面写的一大堆信息对象封装了一切。

　　异步情况就麻烦一些，需要满足三个条件，即timeout时间内没有任何数据，没有scope操作，也就是没有修改对象本身。主要这么三个条件。1.异步状态也被修改了，这意味着有些时候你能找到对象但是因为json字符串值被修改了而找不到修改数据的地方。2.最近执行的操作数为空，比如异步时候如果没有调用socket函数，那么不管有没有socket，对象里都会一样是""。

　　3.未被释放的对象，只要有对象，对象只有存活一天。获取json对象的话，一般有两种方法，1是直接用selenium.get(url).querystring，2是使用selenium.selenium.execute().execute('try{}{}'.format(expectmethod,expectreceive[sendrequest]))。

　　这里要注意selenium.selenium.execute()是不包含try，也就是没有execute()的，抓取一个对象只能是try。然后要注意的是，json对象是字符串不是json，如果你需要使用json数据转json.string，需要经过selenium.selenium.execute('json').json转换成json格式才行。

　　要确保selenium.selenium.execute()不是python的dict函数。selenium.selenium.execute()很明显会引入很多乱七八糟的东西，以及很多编码注意事项，所以尽量要用dict写函数。而且执行时机也要注意，因为现代浏览器会关闭掉python的进程，所以selenium.selenium.execute()只能在浏览器关闭之后执行，可以使用selenium.selenium.wait()。selenium.selenium。