php禁止网页抓取(什么是恶意镜像网站，以及相关防范镜像的方法？)

　　php禁止网页抓取(什么是恶意镜像网站，以及相关防范镜像的方法？)

　　找到以下类似位置，根据以下代码添加/修改，然后重新启动Apache：

　　二、Nginx代码

　　在nginx安装目录下输入conf目录，并将以下代码保存为agent_udeny.conf

　　cd/usr/local/nginx/conf

　　vim代理拒绝.conf

　　然后在网站相关配置中的location/{之后插入以下代码：

　　例如，张戈博客的配置：

　　保存后，执行以下命令，顺利重启nginx：

　　三、PHP代码

　　① , PHP通用版

　　将以下方法放在粘贴到网站entry文件index.php中的第一个方法之前：

　　四、测试效果

　　如果是服务器，直接通过curl命令进行检测非常简单；当然如果是虚拟主机，也可以通过百度站长平台的“抓取诊断”进行检测~以服务器为例：

　　模拟YY蜘蛛抓斗：

　　使用空UA模拟抓取：

　　模拟百度蜘蛛的捕获：

　　三次爬网的结果显示YY蜘蛛和UA是空的，返回403，百度蜘蛛成功返回200，表明它是有效的

　　五、附录：UA集合

　　以下是网络上常见的垃圾邮件UA列表，仅供参考。也欢迎您补充

　　本文中的方法也可用于防止镜像。有关详细信息，请参阅：

　　本文简要介绍了什么是恶意图片网站，以及防止该图片的相关方法。如果有任何错误或遗漏，请随时给我们建议。[20171022重要更新，请参阅方法4~]

　　2017-10-22

　　263

　　1.14w