php抓取网页指定内容(来说说如何规避恶意搜索的问题出现(1)_)

　　php抓取网页指定内容(来说说如何规避恶意搜索的问题出现(1)_)

　　如果您的网站被恶意关键词s 搜索，这些搜索结果如果没有被阻止，很可能会被搜索引擎抓取。结果很悲惨。

　　今天的文章 文章 将讨论如何避免这个问题。当然，如果是机器人搜索，还需要设置搜索频率。

　　1、添加代码

　　将以下代码添加到functions.php。

　　隐藏内容

　　add_action('admin_init', 'php_search_ban_key');function php_search_ban_key() {add_settings_field('php_search_key', '搜索关键词屏蔽', 'php_search_key_callback_function', 'reading');register_setting('reading','php_search_key');} function php_search_key_callback_function() {echo '' . get_option('php_search_key') . '';}add_action('template_redirect', 'php_search_ban');function php_search_ban(){if (is_search()) {global $wp_query;$php_search_key = get_option('php_search_key');if($php_search_key){$php_search_key = str_replace("\r\n", "|", $php_search_key);$BanKey = explode('|', $php_search_key);$S_Key = $wp_query->query_vars;foreach($BanKey as $Key){if( stristr($S_Key['s'],$Key) != false ){wp_die('请不要搜索敏感关键字');}}}}}

　　2、添加关键词

　　常用词见这里：

　　添加您要在后台阻止的 关键词（设置→阅读）。

　　注意：每行一个。

　　3、效果

　　保存后自行搜索，效果如下：

　　4、限制搜索频率

　　这个东西，随便搜，网上很多，最常见的解决办法就是装个插件。

　　1）插件名称

　　限频插件名称：Search Limiter & Blocker

　　2）后台搜索安装

　　插件很小，需要给PHP文件，设置界面如图：

　　插件页面

　　5、设置 robots.txt

　　如果不想让搜索引擎抓取你的搜索结果，或者恶意刷搜索结果，可以创建一个robots.txt，然后在底部添加一行代码，防止蜘蛛抓取搜索结果。

　　Disallow: /?s=*

　　发布一个完整的副本，可以根据需要进行修改。

　　User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /*/comment-page-*

Disallow: /*?replytocom=*

Disallow: /*/*page/*

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: /*/?s=*\

Disallow: /attachment/

　　6、终于

　　如果你的站点被收录恶意搜索，那么你需要站点URL，如：（关键词站点：你的域名.com），例如：如（带走站点：）

　　得到结果后，新建一个记事本，将链接复制进去，提交给百度的死链接提交，这样百度就删除了这些搜索结果。当然，具体操作可以按照百度死链提交的说明进行。

　　当然，你也可以使用站长工具来检索死链接：

　　不过我没用过，也不知道这个站长工具能不能检测到恶意搜索的结果。