java爬虫抓取网页数据(PHP是什么东西？PHP爬虫有什么用？Python我说实话 )

　　java爬虫抓取网页数据(PHP是什么东西？PHP爬虫有什么用？Python我说实话

)

　　一、什么是PHP？

　　PHP（外文名：PHP：Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用的开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，应用广泛，主要适用于Web开发领域。PHP 的独特语法是 C、Java、Perl 和 PHP 自己语法的混合。它可以比 CGI 或 Perl 更快地执行动态网页。与其他编程语言相比，PHP制作的动态页面是将程序嵌入到HTML（标准通用标记语言下的应用程序）文档中执行，执行效率远高于完全生成HTML标记的CGI；PHP 也可以执行编译后的代码。编译可以实现加密和优化代码执行，使代码运行得更快。——百度百科介绍。

　　二、爬虫有什么用？

　　爬虫有什么用？先说一下什么是爬虫。我认为爬虫是一个网络信息采集

程序。可能是我自己的理解有误。请纠正我。由于爬虫是网络信息采集程序，所以用来采集信息，采集的信息在网络上。如果你还不知道爬虫的用处，我给你举几个爬虫应用的例子：搜索引擎需要爬虫来采集

网络信息供人们搜索；大数据数据，数据从何而来？可以通过爬虫在网络中进行爬取（采集）。

　　三、听到爬虫一般都会想到Python，但是为什么我用PHP而不是Python呢？

　　Python 老实说，我不懂 Python。我一直认为用PHP写东西的时候，只要想一个算法程序就可以了，不用考虑太多的数据类型。PHP 的语法与其他编程语言类似，即使您一开始不了解 PHP，也可以立即上手。其实我也是一个PHP初学者，想通过写点东西来提高自己的水平。

　　四、PHP爬虫第一步

　　PHP爬虫的第一步，第一步……当然，第一步是搭建PHP的运行环境。PHP如何在没有环境的情况下运行？就像鱼离不开水一样。（我的知识不够，可能我给的鱼例子不够好，请见谅。）我在Windows系统下使用WAMP，在Linux系统下使用LNMP或LAMP。

　　WAMP：Windows + Apache + Mysql + PHP

　　灯：Linux + Apache + Mysql + PHP

　　LNMP：Linux + Nginx + Mysql + PHP

　　Apache 和 Nginx 是 Web 服务器软件。

　　Apache 或 Nginx、Mysql 和 PHP 是 PHP Web 的基本配置环境。网上有PHP Web环境的安装包。这些安装包使用起来非常方便，不需要安装和配置一切。但是如果你担心这些集成安装包的安全性，你可以去这些程序的官网下载，然后在网上找配置教程。

　　五、 PHP爬虫第二步

　　爬虫网络的核心功能已经写好了。为什么说爬虫的核心功能是几行代码写出来的？估计有人已经明白了。实际上，爬虫是一个数据采集程序。上面几行代码其实是可以获取数据的，所以爬虫的核心功能已经写好了。可能有人会说，“你太菜了！有什么用？” 虽然我是厨子，但请不要告诉我，让我假装是个X。

　　其实爬虫是干什么用的，主要看你想让它做什么。就像我前几天为了好玩写了一个搜索引擎网站，当然网站很好吃，结果排序不规则，很多都没有。我的搜索引擎爬虫就是写一个适合搜索引擎的爬虫。所以为了方便起见，我将以搜索引擎的爬虫为目标来说明。当然，我的搜索引擎的爬虫还不够完善，不完善的地方要自己去创造和完善。

　　六、 搜索引擎爬虫的局限性

　　有时，搜索引擎的爬虫不是无法获取该网站页面的页面源代码，而是有一个robot.txt文件。带有此文件的网站意味着网站所有者不希望爬虫抓取页面源代码。

　　我的搜索引擎的爬虫其实有很多不足导致的局限性。例如，可能因为无法运行JS脚本而无法获取页面的源代码。或者网站有反爬虫机制，防止获取页面源代码。一个有反爬虫机制的网站就像：知乎，知乎就是一个有反爬虫机制的网站。

　　七、以搜索引擎爬虫为例，准备写爬虫需要什么

　　PHP 编写基本的正则表达式，使用数据库，并运行环境。

　　八、搜索引擎获取页面源码，获取页面标题信息

　　错误示例：

　　警告：file_get_contents("://127.0.0.1/index.php") [function.file-get-contents]：无法打开流：E 中的参数无效:\website\blog\test.php 第 25 行

　　https 是一种 SSL 加密协议。如果获取页面时报上述错误，说明你的PHP可能缺少OpenSSL模块。您可以在网上找到解决方案。

　　九、搜索引擎爬虫的特点

　　虽然没见过像“百度”、“谷歌”这样的爬虫，但是通过自己的猜测和实际爬取过程中遇到的一些问题，总结了一些特点。

　　*敏*感*词*性

　　通用性是因为我觉得搜索引擎的爬虫一开始不是针对哪个网站设计的，所以要求爬取尽可能多的网站。这是第一点。第二点是获取网页的信息。一开始，一些特殊的小网站不会放弃一些信息，也不会提取出来。例如：一个小网站的网页的meta标签中没有描述信息（description）或关键词信息（关键字），就放弃提取描述信息或关键词信息。当然，如果某个页面没有这样的信息，我会把页面中的文字内容提取出来作为填充，反正就是尽可能的实现爬取到的网页信息。每个网页的信息项必须相同。这就是我认为的搜索引擎爬虫的*敏*感*词*性。当然，我的想法可能是错误的。

　　不确定

　　不确定性是我的爬虫获取的网页。我对我能想到的东西没有足够的控制权。这也是我写的算法是这样的原因。我的算法是抓取获得的页面。所有的链接，然后爬取这些链接，其实是因为搜索引擎不是搜索某些东西，而是尽可能多的搜索，因为只有更多的信息才能为用户找到最合适的答案。所以我认为搜索引擎爬虫肯定存在不确定性。

　　十、目前可能出现的问题

　　得到的源码出现乱码

　　2. 无法获取标题信息

　　3. 无法获取页面源码

　　十个一、获取网页时的处理思路

　　我们不要考虑很多网页，因为很多网页只是一个循环。

　　获取页面的源代码，通过源代码从页面中提取信息。

　　十二、按照十一的思路编码

　　十个三、PHP保存页面的图片创意

　　获取页面源码 获取页面图片链接 使用图片保存功能

　　十四、保存图片示例代码