php如何抓取网页数据库(搜索引擎不要禁止所有搜索引擎访问网站的任何部分2、禁止 )

　　php如何抓取网页数据库(搜索引擎不要禁止所有搜索引擎访问网站的任何部分2、禁止

)

　　方法一：设置robots.txt方法

　　搜索引擎默认遵循robots.txt协议，创建一个robots.txt文本文件放在网站根目录下，编辑代码如下：

　　User-agent:*

Disallow:/

　　通过上面的代码，告诉搜索引擎不要抓取，获取，收录this网站.

　　注意：如果使用上述代码，它将阻止所有搜索引擎访问网站的任何部分。

　　以下常见用法示例：

　　1、禁止所有搜索引擎访问网站的所有部分

　　User-agent:*

Disallow:/

　　2、百度收录网站所有版块

　　User-agent:Baiduspider

Disallow:/

　　3、禁止谷歌收录全站

　　User-agent:Googlebot

Disallow:/

　　4、禁止除谷歌以外的所有搜索引擎搜索整个网站

　　4、禁止除百度以外的所有搜索引擎搜索全站

　　User-agent:Baiduspider

Disallow:

User-agent:*

allow:/

　　5、禁止所有搜索引擎访问某个目录（如禁止根目录下的admin和css）

　　User-agent:*

Disallow:/css/

Disallow:/admin/

　　方法二：设置页面代码方法

　　在网站主页代码之间，添加以下代码禁用收录和索引

　　按搜索引擎

　　## 禁止所有搜索引擎的收录和索引

## 禁止百度搜索引擎和索引

## 禁止Google搜索引擎和索引