php 爬虫抓取网页数据(PHP解析器和PHP相比较，python适合做爬虫吗？)

　　php 爬虫抓取网页数据(PHP解析器和PHP相比较，python适合做爬虫吗？)

　　python 和 PHP 相比，python 适合爬取。原因如下

　　抓取网页本身的界面

　　相比其他静态编程语言，如java、c#、C++、python，抓取网页文档的界面更加简洁；相对于其他动态脚本语言，如perl、shell，python的urllib2包提供了更完善的web文档访问API。 （当然ruby也是不错的选择）

　　另外，爬取网页有时需要模拟浏览器的行为，很多网站都是为了生硬爬取而被屏蔽的。这就是我们需要模拟用户代理的行为来构造合适的请求的地方，比如模拟用户登录，模拟会话/cookie存储和设置。 python中有优秀的第三方包帮你搞定，比如Requests，mechanize

　　网页抓取后的处理

　　获取的网页通常需要进行处理，如过滤html标签、提取文本等。Python的beautifulsoap提供了简洁的文档处理功能，可以用极短的代码完成大部分文档处理。

　　其实很多语言和工具都可以做以上的功能，但是python可以做的最快最干净。人生苦短，你需要python。

　　py对于linux来说功能很强大，语言也很简单。

　　NO.1 快速开发（唯一能和python的开发效率相提并论的语言是rudy）语言简洁，没有那么多技巧，所以很容易阅读。

　　NO.2 跨平台（由于python开源，比java更能体现“一次编写，到处运行”。

　　NO.3 说明（无需直接编译、运行/调试代码）

　　NO.4 架构选择太多（GUI架构主要有wxPython、tkInter、PyGtk、PyQt。

　　PHP 脚本主要用于以下三个方面：

　　服务器脚本。这是PHP最传统也是最主要的目标领域。开展这项工作需要以下三点：PHP解析器（CGI或服务器模块）、web

　　服务器和网络浏览器。运行web服务器时需要安装配置PHP，然后可以使用web浏览器访问PHP程序的输出，即浏览服务

　　上的 PHP 页面

　　结束。如果您只是在尝试 PHP 编程，那么所有这些都可以在您的家用计算机上运行。有关更多信息，请参阅安装章节。命令行脚本。

　　您可以编写 PHP 脚本，并且不需要任何服务器或浏览器来运行它。这样，只需要PHP解析器就可以执行。这种用法对易很重要

　　是 cron（Unix 或 Linux 环境）或 Task Scheduler（Windows 环境）日常运行脚本的理想选择。这些脚本也可以用于处理

　　组织简单的文本。更多信息请参考 PHP 的命令行模式。编写桌面应用程序。对于具有图形界面的桌面应用程序，PHP 可能不会

　　最好的语言之一，但是如果用户非常精通PHP并且想在客户端应用程序中使用PHP的一些高级功能，他们可以使用PHP-GTK来编写

　　一些程序。这样，您也可以编写跨平台的应用程序。 PHP-GTK 是 PHP 的扩展，不收录在常用的 PHP 包中。

　　网友观点延伸：

　　我用PHP Node.js Python写了一个爬虫脚本，简单说一下。

　　首先是PHP。先说优点：网上大量的爬取解析html框架，各种工具都可以直接使用，比较省心。缺点：首先，速度/效率是个问题。有一次下载电影海报的时候，因为crontab定时执行，没有优化，打开的php进程太多，直接导致内存爆了。然后语法也很拖沓。关键字和符号太多，不够简洁。给人一种没有经过精心设计的感觉，写起来很麻烦。

　　Node.js。优点是效率，效率还是效率。由于网络是异步的，它基本上和并发数百个进程一样强大。内存和CPU使用量非常小。如果对捕获的数据没有进行复杂的计算和处理，那么系统就会成为瓶颈。基本上就是写入 MySQL 和其他数据库的带宽和 I/O 速度。当然，优点的反面也是缺点。异步网络意味着您需要回调。这时候，如果业务需求是线性的，比如必须等待上一页被爬取到数据，下一页才能被爬取，甚至更多。层依赖，会有可怕的多层回调！基本上这个时候代码结构和逻辑就会乱了。当然，这些问题都可以通过Step等过程控制工具来解决。

　　最后说说Python。如果你对效率没有极端的要求，那么推荐Python！首先，Python 的语法非常简洁，同一个句子可以少打很多次。然后，Python非常适合数据处理，比如函数参数的打包和解包，列表分析，矩阵处理，非常方便。

　　相关文章