php curl抓取网页数据(web开发的通用web框架框架是怎么样的呢？)

　　php curl抓取网页数据(web开发的通用web框架框架是怎么样的呢？)

　　phpcurl抓取网页数据，用的是curllib实现的。可以直接修改模块名就能获取整个页面的数据源代码。没有定制门槛，完全免费的，用着很方便。

　　提取标题的话就用beautifulsoup，字段拆分的话就用lxml（lxml是java的），不过一般抓取页面用这些都足够了，

　　beautifulsoup+lxml或requests就足够了如果是爬取图片，

　　提取图片javascript是可以的提取html页面python可以用xmllib等库提取图片javascript是可以的对于本地文件javascript是不可以处理的

　　web开发网站可以使用phper或者dbaman之类的来做，phper会用it的语言解析html页面，dbaman会用linux的语言把html文件转化为kib或者mb级别的小文件然后压缩处理；使用一个编程语言来搞定网站开发事情还是比较麻烦的，web开发还是集中于php等web开发语言比较好，使用xmlkit、libuv之类的开发model，最后再用python解析出来。

　　首先web开发由于使用了tomcat这一全球知名javaweb开发框架，使得它对html的解析是非常合适的。它既可以进行java开发，又可以使用php，也可以使用python。html可以和mvc一样分层，又可以模块化封装。所以web开发的语言也是非常多。你使用哪种语言搭配就使用哪种语言的web框架。

　　对于web开发的通用web框架，除了php和python这两种方案外，可以考虑第三方的javaweb框架，比如shopify等。