phpcurl抓取网页内容可以应用库、opencurl库库

　　phpcurl抓取网页内容可以应用库、opencurl库库

　　phpcurl抓取网页内容可以应用urllib库、opencurl库、prequest库、cookies库。urllib库里面有动态数据库urlopen等等，opencurl和prequest是stream流的库。请求或者处理网页内容类似于http协议的header里面包含一些相关的参数，根据参数就可以获取数据，接下来转化为网页数据包，然后在nginx里面做http反向代理转发。

　　http是超文本传输协议。http并不是完整的一套协议，http协议只是一部分，还有不少http协议无法处理的内容。所以，可以用内存数据库（sql、mysql、mongodb等）、http解析库，如bison、xmlkit、enode等，传统的文本处理库如itextsim、pdo等，也可以实现常见网页的抓取功能。

　　建议看看blogchmark上一篇关于iyca的文章很详细的介绍了iyca.

　　补充下postman,httpserver,postmanclient等

　　建议看下ta爬虫，

　　php可以通过php反序列化实现，常用的有nodejs。

　　爬虫我用的是python，google有一个pythonautoreload，建议看看。

　　python在web开发中不算问题，不过我用的是服务器端，一般用ror。python在后端有现成的框架libev，用起来也很方便。你可以关注一下。

　　python似乎用的少，