php如何抓取网页数据(php如何抓取网页数据，解决xml解析问题(图))

　　php如何抓取网页数据(php如何抓取网页数据，解决xml解析问题(图))

　　php如何抓取网页数据，解决xml解析问题。php抓取网页数据的基本逻辑如下：读取请求网页，取出html，解析html（html需要具备解析功能），写入文本。当然html还可以继续分割：变成页面元素，php渲染页面。这样的一套逻辑其实就是一个php爬虫系统的完整功能，算上其他网络请求，本地文件操作，最后根据需要写入文本。

　　更进一步说，php爬虫还可以适用多网站分批抓取，抓取的内容作为字符串，然后用分词器转换成path格式，再在前端处理分布式同步爬取。比如：抓取网页名为：“鸡架子”的网页，会比抓取网页名为“鸡架子”的网页效率高，因为即使网页名为“鸡架子”，仍然需要被php解析html，才能读取页面元素（也就是，php不需要知道网页名叫什么就能读取页面元素）。

　　至于如何去根据需要自己合并多个页面？前面已经提到了我们可以用分词器分割单独网页元素，然后在网页上处理，再写入文本。那么处理单个网页元素如何去加载所需要的html源文件呢？这就是有用markdown格式去解析网页，html源文件是pdf格式的，我们的问题就是如何把pdf转换成php需要的path格式。你用php开发solr就会更熟悉这一套。

　　php3对markdown支持较差，markdown在php3上的渲染效率高于php2。比如markdown转换为javascript会有非常差的性能表现，所以有人提出在php3上用solr来处理，可是一个网站比如solr，并发很大的情况下，solr到solr，这样的过程真心累。python很快就有了更好的解决方案：websocket。

　　我们曾经使用tornado写爬虫，效率在当时是相当高的，这次methodpy也很适合我们，我们可以很快的写好网页分词或变身，然后写php解析处理，处理过程中再通过tornado打个websocket发回php。而且，tornado本身也支持solr，我们只要用tornado直接调用php就可以顺利地使用。

<p>当然，我们先要抓取网页，然后python的代码自动解析这个网页：tornado-analyzer:stringparser：>>>python解析“鸡架子”网页-me-chang-wechat-view-descriptorjavascriptrequestrequest('',{url:'',params:{intervals:[0]}})tornado-analyzer:analyzer=tornado.newsquoted(request)>>>python解析"鸡架子"网页-me-chang-wechat-view-descriptor