php抓取网页连接函数(网页页面返回到客户端的都是html，怎么办？)

　　php抓取网页连接函数(网页页面返回到客户端的都是html，怎么办？)

　　爬虫原理：

　　每个网页返回给客户端的都是html，你需要的内容就在这个html里面，你可以用一个字符串把这个html存成java变量，你只需要截取这个字符串对应位置的内容并保存

　　，你给的每一个产品的网站网页都有一个特别的地方

　　爬行动物分为两类：

　　采集爬虫：

　　聚焦爬虫是一种自动下载网页的程序。它根据给定的爬取目标有选择地访问万维网上的网页和相关链接，以获取所需的信息。专注爬虫不追求大覆盖，而是旨在爬取与特定主题内容相关的网页，并为面向主题的用户查询准备数据资源。

　　万能爬虫：

　　网络爬虫的组成

　　在网络爬虫的系统框架中，主要流程由控制器、解析器和资源库三部分组成。控制器的主要工作是负责

　　将工作任务分配给多个线程中的每个爬虫线程。解析器的主要工作是下载网页并进行处理，主要是通过转换一些JS脚本标签、CSS代码内容、空格字符、HTML标签。

　　爬虫的基本工作由解析器完成。资源库用于存储下载的web资源，一般使用大型数据库存储，如Oracle数据库

　　, 并将其编入索引。

　　控制器：

　　控制器是网络爬虫的中央控制器。主要负责根据系统发送的URL链接分配一个线程，然后启动线程调用爬虫爬取网页。

　　解析器：

　　解析器负责网络爬虫的主要部分。它的主要任务是：下载网页的功能，处理网页的文本，如过滤，提取特殊的HTML标签，分析数据。

　　资源库：

　　它主要是一个容器，用于存储从网页下载的数据记录，并为索引生成提供目标源。大中型数据库产品包括：Oracle、Sql Server等。

　　网络爬虫概述

　　网络爬虫的主要功能是从网络上发现、下载和存储内容。广泛应用于各种搜索引擎。

　　一个典型的网络爬虫主要由以下几部分组成：

　　以上模块的设计和实现，主要取决于你的爬虫要爬什么，爬的范围。最简单的例子是从一个已知站点抓取一些网页，这个爬虫代码占用一页

　　刚写完。在互联网应用中，可能会遇到这个非常简单的需求，但是如果要实现一个爬取大量文档的爬虫，就没有那么简单了。一般来说，这个爬虫是N个应用组

　　，难度是基于分布式的。

　　爬行动物的两个阶段

　　一个典型的爬虫主要有以下两个阶段

　　URL 库初始化并开始爬网。爬虫读取未访问的 URL 以确定其工作范围。

　　对于要抓取的 URL，请执行以下操作

　　获取 URL 的内容解析内容，获取 URL 和所需的数据。存储有价值的数据。规范化新抓取的 URL。过滤掉不需要爬取的 URL。更新要爬取到 URL 库中的 URL。重复步骤 2，直到爬取页面的深度完成。

　　就广度而言，爬行动物有两种。通用和集中。泛型类型是采集所有已解析的文档。他们主要通过 URL 过滤技术来做到这一点。中心化爬虫主要爬取具有特定内容的文档，比如爬新浪博客，格式是固定的内容也是我们感兴趣的。

　　幸运的是，有可用的开源爬虫

　　在java中，nutch和heritrix都提供了爬虫实现。Nutch 是 apache lucene 的一个子项目

　　. 这个项目非常稳定并且有据可查。Nutch 将多个网页存储在一个文件中。对于大型爬虫来说，这样减少了I/O读写，性能更好。

　　Heritrix 是 Internet Archive 的网络爬虫。项目地址是

　　. Heritrix 专注于大型爬虫的实现。许可证是 LGPL。

　　此外，还有一个项目值得关注，那就是apache tika。项目地址是

　　. tika 使用解析器从文档中发现和提取元数据和文本内容。

　　谷歌：《Java 开源网络爬虫分类列表》

　　(1)

　　ItSucks 是一个 java 网络蜘蛛（网络机器人、爬虫）开源项目。支持通过下载模板和正则表达式定义下载规则。提供swing GUI操作界面。下载链接：

　　(2)

　　WebSPHINX

　　WebSPHINX 是一个用于 Java 类包和网络爬虫的交互式开发环境。网络爬虫（也称为机器人或蜘蛛）是自动浏览和处理网页的程序。WebSPHINX由爬虫工作平台和WebSPHINX类包两部分组成。~rcm/websphinx/.

　　(3)

　　蜘蛛侠

　　JSpider：是一个完全可配置和可定制的网络蜘蛛引擎。可以用它检查网站错误（内部服务器错误等），网站内外链接检查，分析网站结构（可以创建网站图） ，下载整个网站，你也可以写一个JSpider插件来扩展你需要的功能。

　　(4)

　　阿拉蕾

　　Arale 主要是为个人使用而设计的，不像其他爬虫那样专注于页面索引。Arale 可以从网站下载整个网站或某些资源。Arale 还可以将动态页面映射到静态页面。

　　(5)

　　网络收获

　　Web-Harvest 是一个 Java 开源 Web 数据提取工具。它能够采集指定的网页并从这些页面中提取有用的数据。Web-Harvest主要使用XSLT、XQuery、正则表达式等技术来实现对text/xml的操作。