php抓取网页连接函数(PHP程序设计实例讲述代码如下:启动一个套_set_blocking)
　　本文中的示例描述了php如何使用fsockopen函数发送post和get请求来获取网页内容。分享给大家，供大家参考。
　　具体实现代码如下：
　　$post =1;
$url = parse_url($url);
$host ='https://www.nhooo.com';
$path ='/';
$query ='?action=phpfensi.com';
$port =80;
 
if($post) {
  $out = "post $path http/1.0 ";
  $out .= "accept: */* ";
  //$out .= "referer: $boardurl ";
  $out .= "accept-language: zh-cn ";
  $out .= "content-type: application/x-www-form-urlencoded ";
  $out .= "user-agent: $_server[http_user_agent] ";
  $out .= "host: $host ";
  $out .= 'content-length: '.strlen($post)." ";
  $out .= "connection: close ";
  $out .= "cache-control: no-cache ";
  $out .= "cookie: $cookie ";
  $out .= $post;
 } else {
  $out = "get $path http/1.0 ";
  $out .= "accept: */* ";
  //$out .= "referer: $boardurl ";
  $out .= "accept-language: zh-cn ";
  $out .= "user-agent: $_server[http_user_agent] ";
  $out .= "host: $host ";
  $out .= "connection: close ";
  $out .= "cookie: $cookie ";
 }
 $fp = @fsockopen(($ip ? $ip : $host), $port, $errno, $errstr, $timeout);
 if(!$fp) 
 {
  return '';//note $errstr : $errno 
 } else {
  return '成功访问';
 }
　　fsockopen 语法：
　　resource fsockopen(string $hostname [,int $port = -1 [, int &$errno [,string &$errstr [, float $timeout = ini_get("default_socket_timeout") ]]]] )
　　向指定主机上的资源发起套接字连接，PHP 支持 Internet 领域中的目标，并且 unix 在支持的套接字传输列表中指定，支持的传输列表也可以使用 stream_get_transports() 检索。
　　socket会默认开启，阻塞模式，可以切换到非阻塞模式使用stream_set_blocking()。如果看不懂上面的例子，就看一下吧，代码如下：
　　$fp = fsockopen("www.nhooo.com", 80, $errno, $errstr, 30);
 if (!$fp) {
  echo "$errstr ($errno) ";
 } else {
  $out = "get / http/1.1 ";
  $out .= "host: www.nhooo.com";
  $out .= "connection: close ";
  fwrite($fp, $out);
  while (!feof($fp)) {
   echo fgets($fp, 128);
  }
  fclose($fp);
 }
　　希望本文对您的 PHP 编程有所帮助。 查看全部

　　php抓取网页连接函数(百度蜘蛛抓取我们的网站是希望将网页进行设置的)
　　百度蜘蛛爬我们的网站是希望我们的网页
　　所以，这个时候，我们只希望我们想被搜索引擎搜索到的内容被爬取。像用户隐私、背景信息等，不希望搜索引擎被爬取和收录。解决这个问题有两种最好的方法，如下：
　　robots协议文件的设置比较简单，可以通过User-Agent、Disallow、Allow这三个参数来设置。
　　User-Agent：针对不同搜索引擎的语句；
　　Disallow：不允许爬取的目录或页面；
　　Allow：允许爬取的目录或页面，一般可以省略不写，因为不写不能爬取的东西是可以爬取的；
　　我们来看一个例子，场景是不想让百度抢我所有的网站css文件、数据目录、seo-tag.html页面
　　用户代理：百度蜘蛛
　　禁止：/*.css
　　禁止：/数据/
　　禁止：/seo/seo-tag.html
　　如上，user-agent 声明的蜘蛛名称表示它是给百度蜘蛛的。以下不能抓取“/*.css”。首先前面的/指的是根目录，也就是你的域名。* 是一个通配符，代表任何东西。这意味着无法抓取所有以 .css 结尾的文件。亲身体验以下两点。逻辑是一样的。
　　如果你想检测你的最后一组
　　通过403状态码限制内容输出，阻止蜘蛛爬行。
　　403状态码是网页在http协议中返回的状态码。当搜索引擎遇到 403 状态码时，它就知道这种类型的页面是受限的。我无法访问。比如你需要登录才能查看内容，搜索引擎本身是不会登录的，所以当你返回403的时候，他也知道这是一个权限设置页面，无法读取内容。自然不是收录。
　　在返回 403 状态码时，应该有一个类似于 404 页面的页面。提示用户或蜘蛛该页面想要做什么以访问它。两者缺一不可。你只有一个提示页面，状态码返回200，是百度蜘蛛的大量重复页面。有 403 状态码，但返回不同的东西。它也不是很友好。
　　最后，对于机器人协议，我想再补充一点：“现在搜索引擎会通过你网页的排版和布局来识别你网页的用户体验友好度。如果css文件的爬取和布局相关js文件被屏蔽了，那么搜索引擎就会不知道你的网页布局是好是坏，所以不建议屏蔽这些内容蜘蛛。”
　　好了，今天的分享就到这里，希望对大家有所帮助。当然，以上两个设置对除了百度蜘蛛之外的所有蜘蛛都有效。设置时要小心。
　　原创文章：《如何阻止百度蜘蛛爬行网站》，赵彦刚。未经允许请勿转载。如需转载，请注明出处： 查看全部

　　php抓取网页连接函数(纯静态网站在网站中是怎么实现的？(组图))
　　随着网站内容的增加和用户访问量的增加，网站的加载也难免会越来越慢。由于带宽和服务器同时发出的请求数量的限制，我们这个时候往往需要优化我们的网站代码和服务器配置。
　　一般会从以下几个方面进行优化
　　现在很多网站在构建的时候都需要静态处理，为什么网站要静态处理呢？我们都知道纯静态网站就是所有的网页都是独立的html页面。我们访问的时候可以直接读取文件，无需数据处理，访问速度可想而知。而且对于搜索引擎来说也是一种非常友好的方式。
　　网站 中的纯静态 网站 是如何实现的？
　　纯静态制作技术需要先把网站的页面汇总，分成多少种样式，然后把这些页面做成模板。生成的时候需要先读取源文件，再生成以.html结尾的独立文件，所以纯静态网站需要的空间比较大，但实际上需要的空间并不多，尤其是中小型——大企业网站，从技术上讲，大网站很难做到全站纯静态，生成时间太长。不过中小网站还是做纯静态比较，有很多好处。
　　动态 网站 是如何静态处理的？
　　页面静态是指将动态页面变成html/htm静态页面。动态页面一般都是用asp、php、jsp、.net等编程语言编写的，非常好管理。但是在访问网页时，需要先处理程序，所以访问速度比较慢。静态页面访问速度快，但不易管理。那么动态页面静态可以将两个页面的好处结合在一起。
　　静态处理给网站带来什么好处？
　　静态处理的网站比没有静态处理的网站更安全，因为静态网站不是黑客攻击的首选，因为黑客不知道你的后台情况系统，黑客很难从前台的静态页面进行攻击。同时，它也具有一定的稳定性。比如网站的数据库或者程序有问题，不会干扰静态处理的页面，不会因为程序或者数据的影响而无法打开页面。
　　搜索引擎蜘蛛更喜欢这样的网址，这样也可以减少蜘蛛的工作量。虽然有些人认为搜索引擎现在已经完全具备抓取和识别动态 URL 的能力，但还是建议您制作静态 URL。使其尽可能静态。
　　下面我们主要谈谈页面静态的概念，希望对你有所帮助！
　　什么是 HTML 静态：
　　常说的页面静态分为两种，一种是伪静态，即url重写，另一种是真静态。
　　在PHP网站的开发中，为了网站推广和SEO的需要，网站需要对整个站点或部分站点进行静态处理。用PHP生成静态HTML页面的方法有很多，比如使用PHP Templates、缓存等实现页面静态。
　　PHP静态的简单理解就是让网站生成的页面以静态HTML的形式出现在访问者面前。PHP静态分为纯静态和伪静态。两者的区别在于PHP生成静态页面的处理机制不同。.
　　PHP 伪静态：一种使用 Apache mod_rewrite 重写 URL 的方法。
　　静态 HTML 的好处：
　　一、减轻服务器负担，浏览网页不调用系统数据库。
　　二、有利于搜索引擎优化SEO，百度和谷歌会优先考虑收录静态页面，不仅比收录快，而且充满收录；
　　三、为了加快页面打开速度，在不连接数据库的情况下，静态页面的打开速度明显高于动态页面；
　　四、网站更安全，HTML页面不会受到php程序相关漏洞的影响；注意较大的网站基本上都是静态页面，可以减少攻击，防止SQL注入。当数据库发生错误时，不会影响网站的正常访问。
　　五、数据库出错不会影响网站的正常访问。
　　最重要的是提高访问速度，减轻服务器负担。当数据量是几万、几十万甚至更多时，你知道哪个更快。而且很容易被搜索引擎找到。生成html文章虽然操作比较麻烦，程序也比较复杂，但是为了更利于搜索，更快更安全，这些牺牲都是值得的。
　　实现 HTML 静态的策略和示例：
　　基本方式
　　file_put_contents() 函数
　　使用 PHP 内置的缓存机制来实现页面静态 - 输出缓冲。
　　方法一：使用PHP模板生成静态页面
　　实现PHP模板的静态化非常方便，比如安装使用PHP Smarty实现网站静态化。
　　在使用Smarty的情况下，也可以实现静态页面。下面简单说一下使用Smarty时常用的动态阅读。
　　一般分为这几个步骤：
　　1、通过URL传递一个参数（ID）；
　　2、然后根据这个ID查询数据库；
　　3、获取数据后，根据需要修改显示内容；
　　4、分配要显示的数据；
　　5、显示模板文件。
　　Smarty 的静态化过程只需要在上述过程中增加两步即可。
　　第一：使用ob_start()打开1之前的缓冲区。
　　第二种：5后使用ob_get_contents()获取内存未输出的内容，然后使用fwrite()将内容写入目标html文件。
　　根据上面的描述，这个过程是在网站的前台实现的，而内容管理（添加、修改、删除）通常是在后台进行的。）。具体流程如下：添加修改程序后，使用Header()跳转到前台读取，这样页面就可以进行HTML化，生成HTML后再跳转回后台管理端，这两个跳跃过程是看不见的。
　　方法二：使用PHP文件读写函数生成静态页面
　　方法三：使用PHP输出控制函数（Output Control）/ob缓存机制生成静态页面
　　输出控制函数（Output Control）是使用和控制缓存生成静态HTML页面，也使用PHP文件读写函数。
　　例如某商品的动态详情页地址为：
　　然后这里我们根据这个地址读取一次详情页的内容，然后保存为静态页。下次有人访问商品详情页的动态地址，我们可以直接输出对应的已经生成的静态内容文件。
　　PHP生成静态页面示例代码1
　　PHP生成静态页面示例代码2
　　我们知道 PHP 用于 网站 开发。一般执行结果直接输出到浏览器。为了使用PHP生成静态页面，需要使用输出控制函数来控制缓存区，从而获取缓存区的内容，然后输出到静态页面。HTML页面文件实现网站静态。
　　PHP生成静态页面的思路是：先打开缓存，然后输出HTML内容（也可以通过include将HTML内容以文件的形式收录进去），然后获取缓存中的内容，清空缓存，并使用PHP文件读写函数对内容进行读写。缓存的内容被写入静态 HTML 页面文件。
　　获取输出缓存内容生成静态HTML页面的过程需要用到三个函数：ob_start()、ob_get_contents()、ob_end_clean()。
　　知识点：
　　1、ob_start函数一般用于打开缓存。注意在使用ob_start之前不能有任何输出，比如空格、字符等。
　　2、ob_get_contents 函数主要用于获取缓存中的内容，并将其作为字符串返回。注意该函数必须在ob_end_clean函数之前调用，否则无法获取缓存内容。
　　3、ob_end_clean函数主要是清除缓存中的内容并关闭缓存，成功则返回True，失败则返回False
　　方法四：使用nosql从内存中读取内容（其实这不是静态的而是缓存的）；
　　以memcache为例：
　　Memcached 是键和值之间的一一对应关系。密钥的默认最大大小不能超过 128 字节。该值的大小默认为1M，所以1M的大小可以满足大部分网页的存储。
　　以上就是PHP中静态化HTML页面的方法。内容丰富，值得细细品味和收获。 查看全部

　　php抓取网页连接函数(网页页面返回到客户端的都是html，怎么办？)
　　爬虫原理：
　　每个网页返回给客户端的都是html，你需要的内容就在这个html里面，你可以用一个字符串把这个html存成java变量，你只需要截取这个字符串对应位置的内容并保存
　　，你给的每一个产品的网站网页都有一个特别的地方
　　爬行动物分为两类：
　　采集爬虫：
　　聚焦爬虫是一种自动下载网页的程序。它根据给定的爬取目标有选择地访问万维网上的网页和相关链接，以获取所需的信息。专注爬虫不追求大覆盖，而是旨在爬取与特定主题内容相关的网页，并为面向主题的用户查询准备数据资源。
　　万能爬虫：
　　网络爬虫的组成
　　在网络爬虫的系统框架中，主要流程由控制器、解析器和资源库三部分组成。控制器的主要工作是负责
　　将工作任务分配给多个线程中的每个爬虫线程。解析器的主要工作是下载网页并进行处理，主要是通过转换一些JS脚本标签、CSS代码内容、空格字符、HTML标签。
　　爬虫的基本工作由解析器完成。资源库用于存储下载的web资源，一般使用大型数据库存储，如Oracle数据库
　　, 并将其编入索引。
　　控制器：
　　控制器是网络爬虫的中央控制器。主要负责根据系统发送的URL链接分配一个线程，然后启动线程调用爬虫爬取网页。
　　解析器：
　　解析器负责网络爬虫的主要部分。它的主要任务是：下载网页的功能，处理网页的文本，如过滤，提取特殊的HTML标签，分析数据。
　　资源库：
　　它主要是一个容器，用于存储从网页下载的数据记录，并为索引生成提供目标源。大中型数据库产品包括：Oracle、Sql Server等。
　　网络爬虫概述
　　网络爬虫的主要功能是从网络上发现、下载和存储内容。广泛应用于各种搜索引擎。
　　一个典型的网络爬虫主要由以下几部分组成：
　　以上模块的设计和实现，主要取决于你的爬虫要爬什么，爬的范围。最简单的例子是从一个已知站点抓取一些网页，这个爬虫代码占用一页
　　刚写完。在互联网应用中，可能会遇到这个非常简单的需求，但是如果要实现一个爬取大量文档的爬虫，就没有那么简单了。一般来说，这个爬虫是N个应用组
　　，难度是基于分布式的。
　　爬行动物的两个阶段
　　一个典型的爬虫主要有以下两个阶段
　　URL 库初始化并开始爬网。爬虫读取未访问的 URL 以确定其工作范围。
　　对于要抓取的 URL，请执行以下操作
　　获取 URL 的内容解析内容，获取 URL 和所需的数据。存储有价值的数据。规范化新抓取的 URL。过滤掉不需要爬取的 URL。更新要爬取到 URL 库中的 URL。重复步骤 2，直到爬取页面的深度完成。
　　就广度而言，爬行动物有两种。通用和集中。泛型类型是采集所有已解析的文档。他们主要通过 URL 过滤技术来做到这一点。中心化爬虫主要爬取具有特定内容的文档，比如爬新浪博客，格式是固定的内容也是我们感兴趣的。
　　幸运的是，有可用的开源爬虫
　　在java中，nutch和heritrix都提供了爬虫实现。Nutch 是 apache lucene 的一个子项目
　　. 这个项目非常稳定并且有据可查。Nutch 将多个网页存储在一个文件中。对于大型爬虫来说，这样减少了I/O读写，性能更好。
　　Heritrix 是 Internet Archive 的网络爬虫。项目地址是
　　. Heritrix 专注于大型爬虫的实现。许可证是 LGPL。
　　此外，还有一个项目值得关注，那就是apache tika。项目地址是
　　. tika 使用解析器从文档中发现和提取元数据和文本内容。
　　谷歌：《Java 开源网络爬虫分类列表》
　　(1)
　　ItSucks 是一个 java 网络蜘蛛（网络机器人、爬虫）开源项目。支持通过下载模板和正则表达式定义下载规则。提供swing GUI操作界面。下载链接：
　　(2)
　　WebSPHINX
　　WebSPHINX 是一个用于 Java 类包和网络爬虫的交互式开发环境。网络爬虫（也称为机器人或蜘蛛）是自动浏览和处理网页的程序。WebSPHINX由爬虫工作平台和WebSPHINX类包两部分组成。~rcm/websphinx/.
　　(3)
　　蜘蛛侠
　　JSpider：是一个完全可配置和可定制的网络蜘蛛引擎。可以用它检查网站错误（内部服务器错误等），网站内外链接检查，分析网站结构（可以创建网站图） ，下载整个网站，你也可以写一个JSpider插件来扩展你需要的功能。
　　(4)
　　阿拉蕾
　　Arale 主要是为个人使用而设计的，不像其他爬虫那样专注于页面索引。Arale 可以从网站下载整个网站或某些资源。Arale 还可以将动态页面映射到静态页面。
　　(5)
　　网络收获
　　Web-Harvest 是一个 Java 开源 Web 数据提取工具。它能够采集指定的网页并从这些页面中提取有用的数据。Web-Harvest主要使用XSLT、XQuery、正则表达式等技术来实现对text/xml的操作。 查看全部

　　php抓取网页连接函数(
8.查看你的电子邮件是否已读当发送电子邮件时，怎么办？)
　　function combine_my_files($array_files, $destination_dir, $dest_file_name){
if(!is_file($destination_dir . $dest_file_name)){ //continue only if file doesn't exist
$content = "";
foreach ($array_files as $file){ //loop through array list
$content .= file_get_contents($file); //read each file
}
//You can use some sort of minifier here
//minify_my_js($content);
$new_file = fopen($destination_dir . $dest_file_name, "w" ); //open file for writing
fwrite($new_file , $content); //write to destination
fclose($new_file);
return ''; //output combined file
}else{
//use stored file
return ''; //output combine file
}
}
　　而且，用法是这样的：
　　$files = array(
'http://example/files/sample_js_file_1.js',
'http://example/files/sample_js_file_2.js',
'http://example/files/beautyquote_functions.js',
'http://example/files/crop.js',
'http://example/files/jquery.autosize.min.js',
);
echo combine_my_files($files, 'minified_files/', md5("my_mini_file").".js");
　　3.检查您的电子邮件是否已被阅读
　　发送电子邮件时，您会想知道您的消息是否已被阅读。这是一个非常有趣的代码片段，它记录了读取您邮件的 IP 地址以及实际日期和时间。
　　4.从网页中提取关键词
　　正如副标题所说：这个代码片段可以让你轻松地从网页中提取 meta关键词。
　　$meta = get_meta_tags('http://www.emoticode.net/');
$keywords = $meta['keywords'];
// Split keywords
$keywords = explode(',', $keywords );
// Trim them
$keywords = array_map( 'trim', $keywords );
// Remove empty values
$keywords = array_filter( $keywords );
print_r( $keywords );
　　5.查找页面上的所有链接
　　使用 DOM，您可以轻松抓取网络上的所有链接。这是一个工作示例：
　　$html = file_get_contents('http://www.example.com');
$dom = new DOMDocument();
@$dom->loadHTML($html);
// grab all the on the page
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$url = $href->getAttribute('href');
echo $url.'<br />';
}
　　6.自动将 URL 转换为可点击的超链接
　　在 WordPress 中，如果您想自动将字符串中的所有 URL 转换为可点击的超链接，那么使用内置函数 make_clickable() 就可以了。如果您需要在 WordPress 之外执行此操作，可以参考 wp-includes/formatting.php 中该函数的源代码：
　　function _make_url_clickable_cb($matches) {
$ret = '';
$url = $matches[2];
if ( empty($url) )
return $matches[0];
// removed trailing [.,;:] from URL
if ( in_array(substr($url, -1), array('.', ',', ';', ':')) === true ) {
$ret = substr($url, -1);
$url = substr($url, 0, strlen($url)-1);
}
return $matches[1] . "<a href=\"$url\" rel=\"nofollow\">$url</a>" . $ret;
}
function _make_web_ftp_clickable_cb($matches) {
$ret = '';
$dest = $matches[2];
$dest = 'http://' . $dest;
if ( empty($dest) )
return $matches[0];
// removed trailing [,;:] from URL
if ( in_array(substr($dest, -1), array('.', ',', ';', ':')) === true ) {
$ret = substr($dest, -1);
$dest = substr($dest, 0, strlen($dest)-1);
}
return $matches[1] . "<a href=\"$dest\" rel=\"nofollow\">$dest</a>" . $ret;
}
function _make_email_clickable_cb($matches) {
$email = $matches[2] . '@' . $matches[3];
return $matches[1] . "<a href=\"mailto:$email\">$email</a>";
}
function make_clickable($ret) {
$ret = ' ' . $ret;
// in testing, using arrays here was found to be faster
$ret = preg_replace_callback('#([\s>])([\w]+?://[\w\\x80-\\xff\#$%&~/.\-;:=,?@\[\]+]*)#is', '_make_url_clickable_cb', $ret);
$ret = preg_replace_callback('#([\s>])((www|ftp)\.[\w\\x80-\\xff\#$%&~/.\-;:=,?@\[\]+]*)#is', '_make_web_ftp_clickable_cb', $ret);
$ret = preg_replace_callback('#([\s>])([.0-9a-z_+-]+)@(([0-9a-z-]+\.)+[0-9a-z]{2,})#i', '_make_email_clickable_cb', $ret);
// this one is not in an array because we need it to run last, for cleanup of accidental links within links
$ret = preg_replace("#(]+?>|>))<a [^>]+?>([^>]+?)</a></a>#i", "$1$3</a>", $ret);
$ret = trim($ret);
return $ret;
}
　　7.在您的服务器上下载并保存远程图像
　　在构建 网站 时，在远程服务器上下载图像并将其保存在您自己的服务器上很有用，而且它也很容易做到。以下两行代码将为您完成。
　　$image = file_get_contents('http://www.url.com/image.jpg');
file_put_contents('/images/image.jpg', $image); //Where to save the image
　　8.检测浏览器语言
　　如果您的 网站 使用多种语言，则检测浏览器语言并将该语言设置为默认语言会很有用。下面的代码将返回客户端浏览器使用的语言。
　　function get_client_language($availableLanguages, $default='en'){
if (isset($_SERVER['HTTP_ACCEPT_LANGUAGE'])) {
$langs=explode(',',$_SERVER['HTTP_ACCEPT_LANGUAGE']);
foreach ($langs as $value){
$choice=substr($value,0,2);
if(in_array($choice, $availableLanguages)){
return $choice;
}
}
}
return $default;
}
　　9.显示 Facebook 关注者数量的全文
　　如果您的 网站 或博客有 Facebook 页面，那么您可能想要显示您有多少关注者。此代码段可以帮助您获取 Facebook 关注者的数量。不要忘记在第二行添加您的页面 ID。页面 ID 可以在地址中找到。
<p> 查看全部

　　php抓取网页连接函数(本文_get_contents、fsockopen、curl、stream在php中的使用方法)
　　本文主要讲一下php中file_get_contents、fsockopen、stream_context_create、curl的使用以及它们适合的使用场景。
　　1、使用file_get_contents的get方法获取
　　$url = 'http://sobird.me/';
$result= file_get_contents($url);
　　2、使用file_get_contents的post方法获取
　　$postdata = http_build_query($data);
$options= array(
'http' => array(
'method' => 'POST',
'header' => 'Content-type: application/x-www-form-urlencoded',
'content' => $postdata
)
);
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
注：file_get_contents 需要php.ini里开启allow_url_fopen,allow_url_include 方可使用
　　3、用fopen打开url，用get获取
　　$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp)){
$result .= fgets($fp, 1024);
}
echo $result;
fclose($fp);
　　4、使用fsockopen函数打开url，在get方法中获取完整的数据，包括header和body
　　$query = '?test=test';
$host = 'sobird.me';
$port = 80;
$timeout = 30;
if (!$fp = @fsockopen($host, $port, $errno, $errstr, $timeout)) {
// Set error message
switch($errno) {
case -3:
$errormsg = 'Socket creation failed (-3)';
case -4:
$errormsg = 'DNS lookup failure (-4)';
case -5:
$errormsg = 'Connection refused or timed out (-5)';
default:
$errormsg = 'Connection failed ('.$errno.')';
$errormsg .= ' '.$errstr;
}
}
$request = "GET $query HTTP/1.1\r\n";
$request .= "Host: $host\r\n";
$request .= "Connection: Close\r\n";
$request.="\r\n";
fwrite($fp,$request);
$result = '';
while(!feof($fp)){
$result .= @fgets($fp, 1024);
}
fclose($fp);
echo $result;
　　5、使用fsockopen函数打开url，通过POST获取完整数据，包括header和body
　　$url = 'http://sobird.me/';
function HTTP_Post($URL,$data,$cookie, $referer=""){
// parsing the given URL
$URL_Info = parse_url($URL);
// making string from $data
foreach($data as $key=> $value)
$values[]="$key=".urlencode($value);
$data_string=implode("&",$values);
// Find out which port is needed - if not given use standard (=80)
if(!isset($URL_Info["port"]))
$URL_Info["port"]=80;
$request = '';
// building POST-request:
$request.="POST ".$URL_Info["path"]." HTTP/1.1\n";
$request.="Host: ".$URL_Info["host"]."\n";
$request.="Referer: $referer\n";
$request.="Content-type: application/x-www-form-urlencoded\n";
$request.="Content-length: ".strlen($data_string)."\n";
$request.="Connection: close\n";
$request.="Cookie: $cookie\n";
$request.="\n";
$request.=$data_string."\n";
$fp = fsockopen($URL_Info["host"],$URL_Info["port"]);
fputs($fp, $request);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
fclose($fp);
return $result;
}
$data = array(
'test'=>'test'
);
$cookie = '';
$referer = 'http://sobird.me/';
echo HTTP_Post($url, $data, $cookie, $referer);
　　6、使用curl库，打开url，通过get获取
　　$url = 'http://sobird.me/';
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 5);
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
　　7、使用curl库，打开url，通过post获取
　　$url = 'http://sobird.me/';
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, 'test=test');
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
　　关于 curl 和 fsockopen。
　　fsockopen是比较底层的调用，属于网络系统的socket调用，curl的封装支持HTTPS认证、HTTP POST方式、HTTP PUT方式、FTP上传、kerberos认证、HTTP上传、代理服务器、cookies ，用户名/密码认证，下载文件续传，上传文件续传，http代理服务器管道（代理隧道），甚至支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能是很强大 。fsockopen 返回的是未处理的数据，包括数据的长度、数据的内容、数据的结束符。而curl是处理后的内容。
　　用户使用的时候，curl比较方便，但是参数比较多，配置稍微复杂一点，而fsockopen固定参数比较少，比较简单，但是结果可能需要处理。
　　关于 file_get_contents
　　有时使用 file_get_contents() 调用外部文件很容易出现超时和错误。curl 比 file_get_contents() 和 fsockopen() 更有效，因为 CURL 会自动缓存 DNS 信息。
　　file_get_contents/curl/fsockopen 在当前请求的环境中选择性地操作，没有一概而论。
　　file_get_contents 需要在 php.ini 中启用 allow_url_fopen。请求 http 时，使用 http_fopen_wrapper。如果 keeplive 不可用，可以使用 curl。file_get_contents() 单次执行效率很高，并且返回没有标题的信息。
　　这在读取一般文件的时候是没有问题的，但是读取远程的时候可能会出现问题。如果要建立持久连接，请多次请求多个页面。那么file_get_contents和fopen就会出现问题。获得的内容也可能不正确。所以在做采集之类的工作时，肯定是有问题的。
　　fsockopen的底层可以设置为基于UDP或TCP协议交互，配置麻烦，操作困难。返回完整信息。
　　总之，file_get_contents和curl可以做到，socket可以做到。套接字有能力，但 curl 可能没有能力。file_get_contents 更多时候只是为了提取数据。高效且简单。
　　如果我们只讨论curl和file_get_contents，有一些结论：
　　fopen /file_get_contents 将对每个请求重新进行 DNS 查询，并且不缓存 DNS 信息。但是 CURL 会自动缓存 DNS 信息。对同一域名下的网页或图片的请求只需要一次 DNS 查询。这大大减少了 DNS 查询的数量。所以 CURL 的性能比 fopen /file_get_contents 好很多。当 fopen /file_get_contents 请求 HTTP 时，它使用 http_fopen_wrapper，而不是 keeplive。卷曲可以。这样，当多次请求多个链接时，curl 会更高效。fopen/file_get_contents 函数受 php.ini 文件中的 allow_url_open 选项配置的影响。如果关闭配置，该功能也会失效。并且 curl 不受此配置的影响。curl可以模拟各种请求，例如：POST数据、表单提交等，用户可以根据自己的需要自定义请求。而 fopen/file_get_contents 只能使用 get 方法获取数据。
　　PS：file_get_contents()函数获取https链接内容时，需要php中mod_ssl的支持（或者安装opensll）。
　　结论是curl的效率和稳定性比file_get_contents()要好，fsockopen也很强大，但是比较低级。
　　参考： 查看全部

　　php抓取网页连接函数(广州金融职业学院新生注册网页连接函数抓取函数(图))
　　php抓取网页连接函数首先定义了一个viprequest对象，传入网页id和请求的url两个参数，返回了一个响应对象。
　　1、从抓取的网页中，获取id=42500，url=//？user['user_id']=42500&page=8,284&fullname=pyd_mnet_1_cn&_sm=c4837820a4172f861c0b352d0308bb8b4cc0582e7a01&_wm=0&_tsm=en&_cms=false&_csv=false&_sm=false&_chs=24021&_csrc=1&_cts=346474&_sr=8-0-1。
　　2、从这个响应中，可以解析出请求的url，
　　3、通过解析这些参数值，可以转换成php的对象，那么最简单的办法就是通过单参数策略（多个参数）来抓取图片文件了。
　　以上就是如何抓取文件的思路了，假设我要抓取，广州金融职业学院新生注册网页，博文中抓取到的信息就为f54500，
　　一、php方面，假设抓取的是图片链接的话，
　　二、html方面的话，注意把分页链接去掉，
　　三、定位高清图片的id.打开查看php函数代码 查看全部

　　php抓取网页连接函数(
HttpClient类实现了3个方法，一个用于普通的get请求)
　　我承认有很多很好的实现，但是自己还是使用Curl实现了一个简单的页面抓取类，主要用到了Curl 和 simple_html_dom, 直接上代码：
　　class HttpClient {
private $cookiePath = "d:/my.cookie";
/**
* HTTP GET
* @param unknown $url
* @return mixed
*/
public function request($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookiePath);
curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookiePath);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
/**
* download file
* @param unknown $url
* @param unknown $target
* @return boolean
*/
public function download($url, $target) {
$ch = curl_init ();
curl_setopt ( $ch, CURLOPT_CUSTOMREQUEST, &#39;GET&#39; );
curl_setopt ( $ch, CURLOPT_SSL_VERIFYPEER, false );
curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookiePath);
curl_setopt ( $ch, CURLOPT_URL, $url );
ob_start ();
curl_exec ( $ch );
$return_content = ob_get_contents ();
ob_end_clean ();
$return_code = curl_getinfo ( $ch, CURLINFO_HTTP_CODE );
$filename = $target;
unlink($filename);
$fp= @fopen($filename,"a"); //将文件绑定到流 
fwrite($fp,$return_content); //写入文件
return true;
}
/**
* post data to remote url
* @param unknown $url
* @param unknown $params
* @return mixed
*/
public function post($url, $params) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $params);
curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookiePath);
curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookiePath);
$result=curl_exec($ch);
curl_close($ch);
return $result;
}
}
　　HttpClient类实现了三种方法，一种是普通的get请求，一种是下载文件，一种是POST数据，比如提交登录表单，因为保存了cookie信息，所以基本可以模拟浏览浏览器的一些操作设备。
　　simple_html_dom是一个解析HTML的简单实现，类似于jquery或者Css选择器获取HTML文件中的内容，很简单：
　　 $client = new HttpClient();
$url =&#39;http://www.sample.com/list.do&#39;;
$result = $client->request($url);
$dom = str_get_html($result);
$titles = array();
$records = array();
foreach($dom->find("table.ti_b th") as $th) {
//var_dump($th);
if($th) {
$titles[] = $th->innertext;
}
}
foreach($dom->find("table.ti_b td") as $td) {
if($td) {
$records[] = $td->innertext;
}
}
　　使用 str_get_html() 从 HTML 字符串创建 dom 对象。当然，你也可以使用 simple_html_dom 中的 file_get_html() 从 URL 或文件中获取 dom 对象。使用dom对象，可以像jquery一样读取标签数据。 查看全部

　　php抓取网页连接函数(项目招商找A5快速获取精准代理名单(一)(组图))
　　项目投资找A5快速获取精准代理名单
　　本文文章主要介绍PHP中禁用危险函数的深入细致讲解，并列出了一些比较敏感的函数。有兴趣的同学可以学习一下。
　　error_log()
　　功能说明：将错误信息发送到指定位置（文件）。
　　安全提示：在某些版本的 PHP 中，可以使用 error_log() 绕过 PHP 安全模式并执行任意命令。
　　危险等级：低
　　phpinfo()
　　功能说明：输出PHP环境信息及相关模块、WEB环境等信息。
　　危险等级：中等
　　scandir()
　　功能说明：列出指定路径下的文件和目录。
　　禁用建议：不建议禁用，因为thinkphp框架需要调用。
　　危险等级：中等
　　系统日志()
　　函数说明：可以调用UNIX系统的系统层syslog()函数。
　　危险等级：中等
　　readlink()
　　功能说明：返回符号链接指向的目标文件的内容。
　　危险等级：中等
　　stream_socket_server()
　　功能说明：建立 Internet 或 UNIX 服务器连接。
　　禁用建议：不建议禁用，需要使用workerman框架。
　　危险等级：中等
　　passthru()
　　函数说明：允许执行外部程序并回显输出，类似于exec()。
　　危险等级：高
　　执行（）
　　功能说明：允许执行外部程序（如UNIX Shell或CMD命令等）。
　　危险等级：高
　　系统（）
　　函数说明：允许执行外部程序并回显输出，类似于passthru()。
　　危险等级：高
　　chroot()
　　功能说明：可以改变当前PHP进程的工作根目录。只有在系统支持CLI方式PHP时才能使用，此功能不适用于Windows系统。
　　危险等级：高
　　chgrp()
　　功能说明：更改文件或目录所属的用户组。
　　危险等级：高
　　chown()
　　功能说明：更改文件或目录的所有者。
　　危险等级：高
　　shell_exec()
　　功能说明：通过Shell执行命令，并将执行结果以字符串形式返回。
　　危险等级：高
　　proc_open()
　　功能说明：执行命令，打开文件指针进行读写。
　　危险等级：高
　　proc_get_status()
　　函数说明：获取使用proc_open()打开的进程信息。
　　危险等级：高
　　ini_set()
　　功能说明：可用于修改和设置PHP环境配置参数。
　　禁用建议：不建议禁用，因为很多程序需要用到，比如：
　　1
　　危险等级：高
　　ini_alter()
　　函数说明：是ini_set()函数的别名函数，功能与ini_set()相同。
　　危险等级：高
　　ini_restore()
　　功能说明：可用于将PHP环境配置参数恢复为初始值。
　　危险等级：高
　　dl()
　　功能说明：在 PHP 运行期间（不是在启动时）加载一个 PHP 外部模块。
　　危险等级：高
　　pfsockopen()
　　功能说明：在Internet或UNIX域中建立socket持久连接。
　　危险等级：高
　　符号链接（）
　　功能说明：在UNIX系统中创建符号链接。
　　危险等级：高
　　popen()
　　功能说明：可以通过popen()的参数传递一个命令，执行popen()打开的文件。
　　危险等级：高
　　putenv()
　　功能说明：用于改变PHP运行时的系统字符集环境。在5.2.6以下的PHP版本中，可以使用该函数修改系统字符集环境，然后使用sendmail命令发送特殊参数执行系统SHELL命令。
　　危险等级：高
　　fsockopen()
　　功能说明：一个可以实现远程登录访问的功能，也很容易被黑客利用来进行PHPDDOS攻击。 phpddos的原理是发出upd包。当然curl也可以，但是fsockopen默认是可用的，curl默认是不加载的。
　　危险等级：高
　　禁用方法：
　　打开php.ini文件，找到disable_functions，在等号（=）后面加上要禁用的函数名，如下：
　　syslog,readlink,passthru,exec,system,chroot,chgrp,chown,shell_exec,proc_open,proc_get_status,ini_alter,ini_restore,dl,pfsockopen,symlink,popen,putenv,fsocket,fsockopen
　　1 disable_functions =syslog,readlink,passthru,exec,system,chroot,chgrp,chown,shell_exec,proc_open,proc_get_status,ini_alter,ini_restore,dl,pfsockopen,symlink,popen,putenv,fsocket,fsockopen
　　disable_functions =syslog,readlink,passthru,exec,system,chroot,chgrp,chown,shell_exec,proc_open,proc_get_status,ini_alter,ini_restore,dl,pfsockopen,symlink,popen,putenv,fsocket,fsockopen
　　这是对PHP中禁用危险函数的深入讲解文章的介绍。更多关于在PHP中禁用危险函数的信息，请搜索脚本之家以前的文章或继续浏览下方文章希望你以后多多支持脚本之家！ 查看全部

　　php抓取网页连接函数(php抓取网页连接函数一般会用到三个函数：request.get)
　　php抓取网页连接函数一般会用到三个函数：request.get()、request.post()、request.send()。这三个函数都是我们php抓取技术中不可或缺的基础技术，在以下的php爬虫项目中都有涉及到。php抓取网页连接函数在网页比较简单的情况下，可以先用postman抓取网页然后同步到php中，如果网页稍微复杂一点，直接用php反射抓取就可以了，也就是用一个反射器来反射连接，再加上一个事件处理函数。
　　连接有了之后就可以开始我们正式的学习php抓取网页了。在学习php抓取网页的整个过程中，我们会有一个非常熟悉的函数，那就是ns接口，之前也整理过ns技术大全。连接后php不需要再重复post，发包发完直接反射就可以抓取网页。当然，在前面的php抓取系列里面我们要解决的有三个问题：在php中连接的第二个问题是使用build_bittorrents函数，它会根据你的vendor来随机分配ip地址，简单粗暴，但是效率很高，基本可以达到每秒抓取3000万甚至更多次的速度，会让你抓取速度快的飞起，后面会写一篇文章详细讲解vendor相关内容。
　　第三个问题是分配到的ip的主机要根据端口来命名，这就要用到我们的websiteclientbuilding来，注意，这里的siteclientbuilding有三种，分别是：baiduserver/sambaserver，baidubullserver/socks5server和baiduserver/nginx。
　　在本篇文章中我们会详细讲解第一种，build_bittorrents和build_proxy这两种websiteclientbuilding。首先看一下连接到网页的第一个问题：如何确保连接的服务器正确接收请求。如果是baidustorage服务器的话，它首先会得到一个id（即请求的主机），接着请求网页时，就会根据这个id匹配查询关键字，然后服务器来记录这个id。
　　然后服务器就会返回html解析链接。当然这种情况并不是100%实现的，当storage服务器崩溃时，很可能会返回null。我们可以使用反射来让storage服务器再次恢复，或者在连接baidustorage服务器时自己带自己的cookie，因为我们不用向它传递请求主机id之类的东西。如果请求的主机id是p1（即主机0），那么此时p1上的psr1函数要执行a1，再来发请求，如果p1没有任何异常，网页就会返回b1，如果p1有任何异常，就会返回一个null。
　　如果是bashshell的psr1reboot，会死锁，这是因为bash中没有命名cookie的指令，而我们把这个指令加入shell内部，这样在psr1reboot失败时会死锁，是的！你没有看错，就是死锁。因为命名cookie没有意义，如果是co[*]参数的话，它会随机生成一个值，没有具。 查看全部

　　php抓取网页连接函数(具体分析如下：get_meta设置为1将促使PHP尝试
)
　　停在那里。
　　将 use_include_path 设置为 1 将导致 PHP 尝试根据 include_path 标准收录路径中的每个点打开文件。这仅适用于本地文件，不适用于 URL。
　　本文分析了get_meta_tags()、CURL和user-agent在php中的用法。分享给大家，供大家参考。具体分析如下：
　　get_meta_tags()函数用于获取网页形式的标签并加载到一维数组中，其中name为元素下标，content为元素值。上例中的标签可以以数组的形式获取：array('A'=&gt;'1', 'b'=&gt;'2')，其他标签不会被处理，这个函数只会处理直到标签被终止，后续的将不再继续处理，但仍会处理前面的。
　　User-agent 是浏览器向服务器请求网页时提交的不可见头部信息的一部分。头信息是一个收录多个信息的数组，如本地缓存目录、cookies等，其中user-agent为浏览器类型声明，如IE、Chrome、FF等。
　　今天爬取一个网页的标签时，总是得到一个空值，但是直接查看网页的源代码是正常的，所以我怀疑服务器是否设置为根据header信息判断输出，首先尝试使用get_meta_tags()爬取一个本地文件，然后这个本地文件将获取到的头信息写入该文件，结果如下，为了方便查看，替换为/，代码如下：
　　array (
'HTTP_HOST' => '192.168.30.205',
'PATH' => 'C:/Program Files/Common Files/NetSarang;C:/Program Files/NVIDIA Corporation/PhysX/Common;C:/Program Files/Common Files/Microsoft Shared/Windows Live;C:/Program Files/Intel/iCLS Client/;C:/Windows/system32;C:/Windows;C:/Windows/System32/Wbem;C:/Windows/System32/WindowsPowerShell/v1.0/;C:/Program Files/Intel/Intel(R) Management Engine Components/DAL;C:/Program Files/Intel/Intel(R) Management Engine Components/IPT;C:/Program Files/Intel/OpenCL SDK/2.0/bin/x86;C:/Program Files/Common Files/Thunder Network/KanKan/Codecs;C:/Program Files/QuickTime Alternative/QTSystem;C:/Program Files/Windows Live/Shared;C:/Program Files/QuickTime Alternative/QTSystem/; %JAVA_HOME%/bin;%JAVA_HOME%/jre/bin;',
'SystemRoot' => 'C:/Windows',
'COMSPEC' => 'C:/Windows/system32/cmd.exe',
'PATHEXT' => '.COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC',
'WINDIR' => 'C:/Windows',
'SERVER_SIGNATURE' => '',
'SERVER_SOFTWARE' => 'Apache/2.2.11 (Win32) PHP/5.2.8',
'SERVER_NAME' => '192.168.30.205',
'SERVER_ADDR' => '192.168.30.205',
'SERVER_PORT' => '80',
'REMOTE_ADDR' => '192.168.30.205',
'DOCUMENT_ROOT' => 'E:/wamp/www',
'SERVER_ADMIN' => 'admin@admin.com',
'SCRIPT_FILENAME' => 'E:/wamp/www/user-agent.php',
'REMOTE_PORT' => '59479',
'GATEWAY_INTERFACE' => 'CGI/1.1',
'SERVER_PROTOCOL' => 'HTTP/1.0',
'REQUEST_METHOD' => 'GET',
'QUERY_STRING' => '',
'REQUEST_URI' => '/user-agent.php',
'SCRIPT_NAME' => '/user-agent.php',
'PHP_SELF' => '/user-agent.php',
'REQUEST_TIME' => 1400747529,
) 查看全部

　　php抓取网页连接函数(新增加两篇文章：网络爬虫的基本原理（二）使用宽度优先搜索策略)
　　实际的爬虫从一系列种子链接开始。种子链接为起始节点，种子页面的超链接指向的页面为子节点（中间节点）。
　　一、网络爬虫基础知识
　　网络爬虫通过遍历互联网对网络中所有相关网页进行爬取，体现了爬虫的概念。爬虫如何遍历网络？互联网可以看成一个大图，每个页面都被看作一个节点，页面之间的连接被看作有向边。图遍历方法分为宽度遍历和深度遍历，但是深度遍历可能会遍历过深或者掉入黑洞。所以，大多数爬虫不采用这种形式。另一方面，当爬虫以广度优先的方式进行遍历时，会给予待遍历的网页一定的优先级，称为优先遍历。
　　实际的爬虫从一系列种子链接开始。种子链接为起始节点，种子页面的超链接指向的页面为子节点（中间节点）。在整个遍历过程中，会维护一张visited table，记录哪些节点（链接）被处理过，不处理就跳过。
　　添加了两篇新文章 文章：
　　网络爬虫基础知识 (一）
　　网络爬虫基础知识 (二）
　　使用广度优先搜索策略的主要原因是：
　　一个。重要的网页通常更靠近 torrent。例如，当我们打开新闻 网站 时，它往往是最受欢迎的新闻。
　　湾。万维网的实际深度可达17层，但是到某个网页总是有很短的路径，广度优先遍历可以最快的速度找到这个网页
　　C。宽度优先有利于多爬虫协同爬行。
　　二、网络爬虫的简单实现
　　1、定义访问队列、要访问的队列、爬取得到的URL的哈希表，包括退出队列、进入队列、判断队列是否为空等操作
　　package webspider;
import java.util.HashSet;
import java.util.PriorityQueue;
import java.util.Set;
import java.util.Queue;
public class LinkQueue {
// 已访问的 url 集合
private static Set visitedUrl = new HashSet();
// 待访问的 url 集合
private static Queue unVisitedUrl = new PriorityQueue();
// 获得URL队列
public static Queue getUnVisitedUrl() {
return unVisitedUrl;
}
// 添加到访问过的URL队列中
public static void addVisitedUrl(String url) {
visitedUrl.add(url);
}
// 移除访问过的URL
public static void removeVisitedUrl(String url) {
visitedUrl.remove(url);
}
// 未访问的URL出队列
public static Object unVisitedUrlDeQueue() {
return unVisitedUrl.poll();
}
// 保证每个 url 只被访问一次
public static void addUnvisitedUrl(String url) {
if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)
&& !unVisitedUrl.contains(url))
unVisitedUrl.add(url);
}
// 获得已经访问的URL数目
public static int getVisitedUrlNum() {
return visitedUrl.size();
}
// 判断未访问的URL队列中是否为空
public static boolean unVisitedUrlsEmpty() {
return unVisitedUrl.isEmpty();
}
}

　　2、定义DownLoadFile类，根据获取到的url爬取网页内容，下载到本地存储。这里需要引用commons-httpclient.jar、commons-codec.jar、commons-logging.jar。
　　package webspider;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
public class DownLoadFile {
/**
* 根据 url 和网页类型生成需要保存的网页的文件名 去除掉 url 中非文件名字符
*/
public String getFileNameByUrl(String url, String contentType) {
// remove http://
url = url.substring(7);
// text/html类型
if (contentType.indexOf("html") != -1) {
url = url.replaceAll("[\\?/:*|\"]", "_") + ".html";
return url;
}
// 如application/pdf类型
else {
return url.replaceAll("[\\?/:*|\"]", "_") + "."
+ contentType.substring(contentType.lastIndexOf("/") + 1);
}
}
/**
* 保存网页字节数组到本地文件 filePath 为要保存的文件的相对地址
*/
private void saveToLocal(byte[] data, String filePath) {
try {
DataOutputStream out = new DataOutputStream(new FileOutputStream(
new File(filePath)));
for (int i = 0; i < data.length; i++)
out.write(data[i]);
out.flush();
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/* 下载 url 指向的网页 */
public String downloadFile(String url) {
String filePath = null;
/* 1.生成 HttpClinet 对象并设置参数 */
HttpClient httpClient = new HttpClient();
// 设置 Http 连接超时 5s
httpClient.getHttpConnectionManager().getParams()
.setConnectionTimeout(5000);
/* 2.生成 GetMethod 对象并设置参数 */
GetMethod getMethod = new GetMethod(url);
// 设置 get 请求超时 5s
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
// 设置请求重试处理
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
/* 3.执行 HTTP GET 请求 */
try {
int statusCode = httpClient.executeMethod(getMethod);
// 判断访问的状态码
if (statusCode != HttpStatus.SC_OK) {
System.err.println("Method failed: "
+ getMethod.getStatusLine());
filePath = null;
}
/* 4.处理 HTTP 响应内容 */
byte[] responseBody = getMethod.getResponseBody();// 读取为字节数组
// 根据网页 url 生成保存时的文件名
filePath = "f:\\spider\\"
+ getFileNameByUrl(url,
getMethod.getResponseHeader("Content-Type")
.getValue());
saveToLocal(responseBody, filePath);
} catch (HttpException e) {
// 发生致命的异常，可能是协议不对或者返回的内容有问题
System.out.println("Please check your provided http address!");
e.printStackTrace();
} catch (IOException e) {
// 发生网络异常
e.printStackTrace();
} finally {
// 释放连接
getMethod.releaseConnection();
}
return filePath;
}
}

　　3、定义HtmlParserTool类，用于获取网页中的超链接（包括a标签、frame中的src等），即获取子节点的URL。需要导入htmlparser.jar
　　package webspider;
import java.util.HashSet;
import java.util.Set;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class HtmlParserTool {
// 获取一个网站上的链接,filter 用来过滤链接
public static Set extracLinks(String url, LinkFilter filter) {
Set links = new HashSet();
try {
Parser parser = new Parser(url);
//parser.setEncoding("utf-8");
// 过滤 标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接
NodeFilter frameFilter = new NodeFilter() {
public boolean accept(Node node) {
if (node.getText().startsWith("frame src=")) {
return true;
} else {
return false;
}
}
};
// OrFilter 来设置过滤 <a> 标签，和 标签
OrFilter linkFilter = new OrFilter(new NodeClassFilter(
LinkTag.class), frameFilter);
// 得到所有经过过滤的标签
NodeList list = parser.extractAllNodesThatMatch(linkFilter);
for (int i = 0; i < list.size(); i++) {
Node tag = list.elementAt(i);
if (tag instanceof LinkTag)// <a> 标签
{
LinkTag link = (LinkTag) tag;
String linkUrl = link.getLink();// url
if (filter.accept(linkUrl))
links.add(linkUrl);
} else// 标签
{
// 提取 frame 里 src 属性的链接如
String frame = tag.getText();
int start = frame.indexOf("src=");
frame = frame.substring(start);
int end = frame.indexOf(" ");
if (end == -1)
end = frame.indexOf(">");
String frameUrl = frame.substring(5, end - 1);
if (filter.accept(frameUrl))
links.add(frameUrl);
}
}
} catch (ParserException e) {
e.printStackTrace();
}
return links;
}
}

　　4、写一个测试类MyCrawler来测试爬取效果。
<p>package webspider;
import java.util.Set;
public class MyCrawler {
/**
* 使用种子初始化 URL 队列
*
* @return
* @param seeds
* 种子URL
*/
private void initCrawlerWithSeeds(String[] seeds) {
for (int i = 0; i < seeds.length; i++)
LinkQueue.addUnvisitedUrl(seeds[i]);
}
/**
* 抓取过程
*
* @return
* @param seeds
*/
public void crawling(String[] seeds) { // 定义过滤器，提取以http://www.lietu.com开头的链接
LinkFilter filter = new LinkFilter() {
public boolean accept(String url) {
if (url.startsWith("http://www.baidu.com"))
return true;
else
return false;
}
};
// 初始化 URL 队列
initCrawlerWithSeeds(seeds);
// 循环条件：待抓取的链接不空且抓取的网页不多于1000
while (!LinkQueue.unVisitedUrlsEmpty()
&& LinkQueue.getVisitedUrlNum() 查看全部

　　php抓取网页连接函数(
斌果这篇文章中用于获取首页和站点链接的PHP函数,)
　　WordPress中获取主页和附加链接的PHP函数介绍
　　更新时间：2015年12月17日16:14:57 作者：郭斌
　　本文文章主要介绍WordPress中用于获取主页和站点链接的PHP函数。分别需要home_url()和site_url()的朋友可以参考以下
　　home_url()（获取主页链接）
　　ome_url() 函数用于获取WordPress主页链接。
　　用法
　　
home_url( $path, $scheme );
　　参数
　　$路径
　　(string)（可选）首页链接后附加的内容为相对链接。
　　默认：无
　　$方案
　　(string)（可选）链接协议，仅支持“http”、“https”和“relative”。
　　默认值：空
　　返回值
　　(string) 返回主页 URL 加上 $path 参数。
　　例子
　　
echo home_url();//输出：http://www.example.com
echo home_url( '/' );//输出：http://www.example.com/
echo home_url( '/', 'https' );//输出：https://www.example.com/
echo home_url( 'example', 'relative' );//输出：/example
　　其他
　　这个函数位于：wp-includes/link-template.php
　　site_url()（获取站点链接）
　　site_url() 函数用于获取 WordPress 站点链接。
　　用法
　　
site_url( $path, $scheme );
　　参数
　　$路径
　　（字符串）（可选）链接后附加的内容。
　　默认：无
　　$方案
　　(string)（可选）链接协议，只允许“http”、“https”、“login”、“admin”和“relative”。
　　默认值：空
　　返回值
　　(string) 返回附加链接加上 $path 参数。
　　例子
　　
echo site_url();//输出：http://www.example.com 或者 http://www.example.com/wordpress
echo site_url( '/secrets/', 'https' );//输出：https://www.example.com/secrets/ 或者 https://www.example.com/wordpress/secrets/
　　其他
　　这个函数位于：wp-includes/link-template.php 查看全部

　　php抓取网页连接函数(php抓取网页连接函数keep_frequency()：阻止相关连接（来自navigator）)
　　php抓取网页连接函数keep_frequency()：阻止相关连接（来自navigator）自动修改连接的最大字节个数。对网页客户端（可以是浏览器，可以是web服务器）来说它是很不安全的一种功能（如果每个网站都加这个拦截器会导致服务器连接过多）。对http客户端来说使用它的acceptlayout，acceptcontent-type，max-age等属性也会导致一些不安全（最好限制所有连接）。
　　你可以通过设置请求头的一些信息来避免这种攻击。以“我的博客”为例，有如下规则：对给定url进行如下字符串处理后，返回对应的对象（）：get"/""{"title":"verify","user-agent":"mozilla/5.0(windowsnt10.0;win64;x6。
　　4)applewebkit/537.36(khtml,likegecko)chrome/72.0.3239.106safari/537.36","content-type":"application/x-www-form-urlencoded;charset=utf-8","method":"post","accept":"application/x-www-form-urlencoded;charset=utf-8","accept-encoding":"gzip,deflate","referer":""}"最上面添加两个"encoding"，用于添加请求的编码格式。
　　or{"title":"pinterest","user-agent":"mozilla/5.0(windowsnt6.1;win64;x6
　　4)applewebkit/537。36(khtml,likegecko)chrome/72。3239。106safari/537。36","content-type":"application/x-www-form-urlencoded;charset=utf-8","method":"post","accept":"application/x-www-form-urlencoded;charset=utf-8","accept-encoding":"gzip,deflate","referer":""}下面是发送数据前对headers做了如下设置：响应响应头中加上设置：or{"title":"pinterest","user-agent":"mozilla/5。0(windowsnt6。1;win64;x6。
　　4)applewebkit/537.36(khtml,likegecko)chrome/72.0.3239.106safari/537.36","content-type":"application/x-www-form-urlencoded;charset=utf-8","method":"post","accept":"application/x-www-form-urlencoded;charset=utf-8","accept-encoding":"gzip,deflate","referer":""}headers请求过程里面添加的不要写中文字符，特别是点表情的，这会是常见的攻击。get只。 查看全部

　　php抓取网页连接函数(
电影天堂-2019年新片精品-更多#目标电影名称、下载链接
)
　　抓取电影天堂 - 次要页面抓取
　　时间：2020-01-07
　　本文章为您介绍电影天堂-二级页面爬取，主要包括电影天堂-二级页面爬取使用实例、应用技巧、基础知识点总结及注意事项。参考价值，需要的朋友可以参考。
　　＃ 地址
　　电影天堂 - 2019 新精选 - 更多
　　＃ 目标
　　电影名称，下载链接
　　＃ 分析
　　*********需要爬取一级页面************
　　1、片名
　　2、电影链接
　　*********二级页面需要爬取*********
　　1、下载链接
　　实施步骤
　　1、判断响应内容中是否存在想要的爬取数据
　　2、查找 URL 模式
　　第1页 ：https://www.dytt8.net/html/gnd ... .html
第2页 ：https://www.dytt8.net/html/gnd ... .html
第n页 ：https://www.dytt8.net/html/gnd ... .html
　　3、写正则表达式
　　1、一级页面正则表达式
.*?>(.*?)</a>
　　4、代码实现
　　from urllib import request
import re
from useragents import ua_list
import time
import random
class FilmSkySpider(object):
def __init__(self):
# 一级页面url地址
self.url = 'https://www.dytt8.net/html/gndy' \
'/dyzz/list_23_{}.html'
# 获取html功能函数
def get_html(self,url):
headers = {
'User-Agent':random.choice(ua_list)
}
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
# 通过网站查看网页源码,查看网站charset='gb2312'
# 如果遇到解码错误,识别不了一些字符,则 ignore 忽略掉
html = res.read().decode('gb2312','ignore')
return html
# 正则解析功能函数
def re_func(self,re_bds,html):
pattern = re.compile(re_bds,re.S)
r_list = pattern.findall(html)
return r_list
# 获取数据函数 - html是一级页面响应内容
def parse_page(self,html):
re_bds = r'.*?>(.*?)</a>'
# two_page_list: ['ftp://xxxx.mkv']
two_page_list = self.re_func(re_bds,html)
download = two_page_list[0].strip()
return download
def main(self):
for page in range(1,11):
url = self.url.format(page)
html = self.get_html(url)
self.parse_page(html)
# uniform: 浮点数
time.sleep(random.uniform(1,3))
if __name__ == '__main__':
spider = FilmSkySpider()
spider.main() 查看全部

　　php抓取网页连接函数(使用php抓取网页连接函数的获取方法及应用方法分析)
　　php抓取网页连接函数，主要用于获取http网页，主要内容包括如下3个方面：http协议。内容分析。cookie。使用php抓取网页http协议。内容分析。cookie。使用php抓取网页内容，需要首先解析http协议，并且配置cookie，然后抓取网页内容。php文件和http协议官方文档：-intro.htmliis登录方式iis查看一下登录页面：不存在，那就去example页面看看，可以看到：1.内容分析。
　　主要是抓取请求头，具体参数可以参考example页面：结果如下：2.cookie服务器打开登录页面，会把所有的用户请求，都记录下来，如下图，ip是可以修改的，只要你的网络有ip地址就行：写入cookie的方式可以写入json，json数据格式可以参考java怎么用php实现json的解析和json序列化？解析example页面以后，会得到一堆页面上面的header值，在这些数据格式之中，email是get请求方式传递的，host是post请求方式传递的。
　　关于post传递方式的详细说明，请参考这个答案post传递方式，主要使用浏览器上的一个请求来生成，写入cookie会比较麻烦，而session则不同，只要用户交互的http请求，都能使用，使用websocket等websocket，可以使用get和post。也就是说，如果爬取了一个页面，可以用session来存储相应的值，然后调用服务器的同一个io操作，就可以得到不同的http数据，举个例子：//看example页面，会发现中间有一个host页面：大体上，如果爬取有很多页面，也可以自定义一些cookie，存在某一个session里面。
　　urlopen,expires,timestamp用来判断登录成功/失败，一般使用第二个参数，但是这两个参数也可以用xml/xmlx自己的格式写：这两个参数，分别是获取请求头和cookie的格式，其中expires表示准确日期，timestamp表示获取起始时间。expires_all_as_adv是最新开放的adv编码格式，这个格式是gbk。
　　formdata,select,formtype是请求方式选择，最后注意这个body,是整个请求的cookie。cookie(从example.php中得到,可以在xml文件里面设置一下)网络传输的过程非常复杂，我们这里只是获取到了所有的http请求头，网络传输的结果，都存在自己的bookonnet中，每次给一个公共代理进行传输的时候，只需要传给这个公共代理。
　　比如：对于formdata，下次请求时候传给incoming,一定需要referer头，那么就要注意传参给data，直接发post给服务器，当然也需要设置一下。参考文章和地址文章讲解的比较清楚，但是ppt源文件没有。地址：php爬虫连接带的websocket文章讲解的比较清楚，但是。 查看全部

　　php抓取网页连接函数(php抓取网页连接函数目前有multipartitle:提取图片标题)
　　php抓取网页连接函数目前有multipartitle:提取图片标题multipart-webform-replace:提取图片标题url-replace:提取指定页的链接连接multipartstring:抓取指定页面的简短代码fetch_path:提取指定页面下的指定url链接代码req_format:提取指定页面中的指定格式的表单提交代码完整代码：php爬虫基础--抓取网页链接函数php提取图片标题-黄哥的博客-csdn博客。
　　最简单的，按ctrl+a全选图片并复制，用requests库对图片进行html提取。代码如下：fromurllibimportparsefromrequestsimporturlopen#allpd。save("c:\\users\\administrator\\desktop\\jiangxinhua。
　　png")#allpd。save("c:\\users\\administrator\\desktop\\jiangxinhua。jpg")。
　　非常简单，
　　你说的是怎么去采集网页上的图片？例如登录界面，看看url，用sed或者sed-i给全选了，然后直接提取就行了。
　　你是说爬虫吗？另外，图片格式和jpg不一样啊，
　　先装对库，github-xjl201205/tfile-parser:javascriptfileapiparserforpostgithub-nltk-parser-python:javascriptfileapiparserforpost这两个库足够你写爬虫，然后f12看看是哪个库，直接使用。 查看全部

　　php抓取网页连接函数(一个老员工探索服务器_get_contents()设置限制)
　　这两天，公司一位客户的旧车系统中的车库无法更新。通过断点打印发现一个方法获取远程网页内容失败，开始怀疑是自定义打包的方法出错了。咨询了老员工后，决定换成file_get_contents()方法。然而神奇的事情发生了，页面刷新成功获取了远程网页的内容，但是经过多次反复测试，发现还是无法获取远程网页的内容……所以根据对于老员工的意思，我探索了服务器对file_get_contents()的响应来设置限制。
　　首先，检查服务器的 PHP 是否支持访问 URL 对象（例如文件）。通过找到PHP配置文件php.ini，将allow_url_fopen设置为On，即allow_url_fopen = On。但是，经过检查，发现客户端的服务器已经激活了URL形式的fopen封装协议。
　　接下来继续百度寻找解决服务器限制file_get_contents()的方法。（我才知道程序员不用百度，都是用google翻墙的……具体原因，可能百度查到的大多是无用的信息。我不是天才，请允许我学习翻墙伟大的GFW[GREAT FIRE WALL]。）所以，我找到了一种使用curl代替file_get_contents()的方法，大致如下：
　　很多作为虚拟主机租用的服务器一般都会禁用一些IO操作，比如file_get_contents、fsockopen等，因为他们害怕DDOS。但是很多站长需要使用这个功能来抓取URL页面的内容。比如我需要爬取各大网站UED博客中的RSS内容，输出到我的首页。一般情况下，我们不能改变服务器的inc.php，只能写一套IO来代替上面的PHP函数。
　　$url = file_get_contents(&#39;http://www.chongqingwangzhai.com/&#39;);
　　我们可以改用下面的代码
　　//禁用file_get_contents的解决办法
$ch = curl_init();
$timeout = 10; // set to zero for no timeout
curl_setopt ($ch, CURLOPT_URL,&#39;http://www.chongqingwangzhai.com/&#39;);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$url = curl_exec($ch);
　　curl 是一个使用 URL 语法传输文件和数据的工具。它支持多种协议，如HTTP、FTP、TELNET等。它不会被服务器禁用，所以我们可以用它来模拟file_get_contents打开一个URL。
　　一般我们需要抓取页面数据，比如新浪微博、百度论坛等页面，都需要登录才能进入列表页面，所以这时候需要使用curl来模拟登录，然后打开网址。原理是利用curl设置http访问的头信息，模拟登录的头信息，让对方服务器认为你处于登录状态。具体实现方法就不说了，网上有很多。
　　（参考网址：）
　　但是按照上面的方法更换后，结果还是失败了！
　　后来怀疑是服务器防火墙限制。偶尔ping一下相关的URL，会发现有些ping不通。据了解，可能是服务器的DNS解析有问题。网上有网友提到，修改/etc/hosts文件即可解决问题。不过，我还是先了解hosts文件及其作用：
　　/etc/hosts、主机名和 ip 配置文件。
　　hosts - 主机名的静态表查找
　　我们知道，要在网络上访问网站，首先要通过DNS服务器将网络域名()解析成XXX.XXX.XXX.XXX的IP地址，然后我们的电脑才能访问。如果每次域名请求都要等待域名服务器解析并返回IP信息，访问网络的效率就会降低，而Hosts文件可以提高解析效率。根据Windows系统的规则，在发起DNS请求之前，Windows系统会先检查自己的Hosts文件中是否有地址映射关系，如果有则调用IP地址映射，如果没有已知的DNS服务器，它会提出域名解析。也就是说Hosts的请求级别比DNS高。
　　因此，我们可以通过提前在Hosts文件中配置相应的地址映射关系来实现一系列的效果。例如：1、加速域名解析；2、方便局域网用户；3、blocks网站;4、顺利连接系统；等等。
　　（参考网址：）
　　（参考网址：）
　　按照上面的方法，我将远程车库（目标服务器）的IP地址等信息配置到客户端服务器的Hosts文件中，刷新网站，再次点击测试功能。
　　远程网页内容获取成功！！！
　　经过多次刷新测试，系统仍能正常获取远程网页内容！至此，“无法通过PHP下的file_get_contents()方法正常获取远程网页内容”的问题已经基本解决。 查看全部

　　php抓取网页连接函数(掌握百度抓取原理来做好搜索优化(图)搜索)
　　掌握百度爬取原理做好搜索优化。在搜索引擎的后台，有一些采集网页信息的程序。采集的信息一般是关键词或表示网站内容的词组，包括网页本身、网页的URL地址、构成网页的代码以及指向和从网页。然后将该信息的索引存储在数据库中。从输入关键词到百度给出搜索结果，往往只需要几毫秒就可以完成。百度是如何在无数互联网资源中，以如此快的速度将你的网站内容呈现给用户的？这背后有什么样的工作流程和操作逻辑？
　　
　　搜索引擎向用户展示的每一个搜索结果都对应于互联网上的一个页面。每个搜索结果从生成到被搜索引擎展示给用户需要经过四个过程：爬取、过滤、索引和输出结果。
　　1、抢
　　百度蜘蛛，或者百度蜘蛛，会通过搜索引擎系统的计算，以及爬取的内容和频率来决定爬取哪个网站。搜索引擎的计算过程会参考你的网站在历史上的表现，比如内容质量是否足够，是否有用户不友好的设置，是否有过度的搜索引擎优化行为等。
　　当您的网站 生成新内容时，Baiduspider 将通过指向互联网中该页面的链接进行访问和爬取。如果没有设置任何外部链接指向网站中的新内容，那么Baiduspider就无法爬取。对于爬取的内容，搜索引擎会记录爬取的页面，并根据这些页面对用户的重要性，安排不同频率的爬取和更新工作。
　　需要注意的是，一些爬虫软件会伪装成百度蜘蛛爬取你的网站用于各种目的。这可能是一种不受控制的爬取行为，会影响 网站 的正常运行。点击这里识别百度蜘蛛的真伪。
　　2、过滤
　　并不是互联网上的所有网页都对用户有意义，比如一些明显欺骗用户的页面、死链接、空白内容页面等。这些页面对用户、站长和百度没有足够的价值，所以百度会自动过滤这些内容以避免给用户和您的网站带来不必要的麻烦。
　　3、索引
　　百度会对检索到的内容进行一一标记识别，并将这些标记存储为结构化数据，如网页的标签标题、元描述、外部链接和描述、爬取记录等。同时，网页中的关键词信息也会被识别并存储，以匹配用户搜索的内容。
　　4、输出结果
　　百度会对用户输入的关键词进行一系列复杂的分析，根据分析的结论，在索引库中搜索与其最匹配的一系列网页，根据关键词 由用户输入。对需求的强弱和网页的优劣进行打分，将最终得分整理展示给用户。
　　综上所述，百万快速排序系统小编认为，要想通过搜索引擎给用户带来更好的体验，就需要进行网站严格的内容建设，使其更加贴合用户' 浏览需求。重要的是要注意，在为 网站 构建内容时始终需要考虑的一件事是它是否对用户有价值。 查看全部

　　php抓取网页连接函数(php抓取网页连接函数lwowuwan项目github代码仓库phponeweb网站抓取relatedindexes)
　　php抓取网页连接函数lwowuwan项目github代码仓库phponeweb网站抓取了facebook的relatedindexes，结果已经分享到github上。本次文章只分享从facebook拿到的部分信息。
　　8)，shucyquo-jis-(json)平台:webjs中文版下载地址链接:提取码:b6k2动机最近一段时间在php上搜索学习相关的技术（http协议，cgi，xml，rest）都有所了解，其中php抓取网页基本上熟悉的http协议，etag协议。我只是想结合自己的经验给大家分享自己觉得有价值的一些做法。
　　下面我会先将写php抓取facebook的部分编程思路分享给大家，然后再分享自己爬取到的信息存储在redis中的思路，有趣的是redis中存储整个网站链接有个refresh函数，自己在爬取整个网站存储数据到redis过程中这个函数被我忽略了，在写完了这个爬取网站存储信息的文章后我才留意到这个函数。
　　我们首先来说说抓取整个facebook网站信息的大概思路：
　　一、保存每一条链接的url，web项目里我们不仅要保存header头(setresponseheader(content-type,"accept-encoding","identity"),"accept-language","zh-cn"),还要保存token:setencrypttoken(sessionid,token)，mongodb中同样也保存token，可以自己实现一个算法来解决token下面会着重介绍如何写这两个。
　　二、保存所有的信息（链接、token、域名或ip）1.在获取facebook链接后我们把所有的header头的内容保存在dom中，shifter-content-url指向指定的header头。2.把所有的header头保存在dom中后会生成domdata;我们可以写javascript自己抓取所有header头的内容setencrypttoken();3.areupwheelbuffersdata(p1,p2,p3,...)content指定schema和header头。
　　error之间的内容:指定dom所有header头的内容。foreachinheaderforiinsetencrypttoken(request_fail_error,request_isnonfree);item指定schema。replie指定header头，header是一个已知的对应mongodb中redis同一行的header。
　　ments.collapse(redis);每一条链接只能生成一个content对象，如果链接超过半个content对象就设置为1，同时被设置的链接id一致。这是我们在保存content对象后新建的对象，这个对象会在进一步抓取信息的时候被mongodb回收。setencrypttoken(content,redis,json_dummy(),request_fail_error);4.写入redis我们可以写一个rediscli，在保存schema和header。 查看全部