php禁止网页抓取(通过反向代理再加上缓存,现在很容易就能把别人的站给镜像克隆,)
优采云 发布时间: 2021-10-11 11:12php禁止网页抓取(通过反向代理再加上缓存,现在很容易就能把别人的站给镜像克隆,)
通过反向代理和缓存,现在可以轻松地将其他人的站点克隆到镜像。这会导致您网站被搜索引擎判断为重复内容,降低您的权利。这对于 原创 站点来说是正确的。这是非常不公平的。虽然可以通过查询对方网站的IP,然后在服务器上ban掉这个IP,但是对于经常更换IP网站或者对方有CDN的对方比较好. 操作难度大,其实可以结合以下做法:
一、使用.htaccess禁止反向代理
在站点根目录新建一个.htaccess文件,然后添加如下内容:
RewriteEngine On
RewriteBase /
php_value auto_append_file proxy.php
创建一个新的 proxy.php 文件并添加以下代码进行保存。
二、使用js代码判断域名
这是要先判断他的域名是否是这个域名,如果是就正常访问,如果不是就跳转给我们网站。
三、使用php判断域名
这个方法和使用js代码重定向域名一样。就是先判断域名,如果是代理域名,就会重定向。代码如下:
如果是实时代理,上面三种方法就够了,但是如果他用缓存,把代理的网站缓存在自己的服务器上,然后用这些就不行了,因为内容已经被Grab了对方网站,以及你在这里所做的更改不会更新给对方。这时候如果使用CND,类似于阿里云CDN,有一个防止外链的链接,开启了外链预防。当对方调用你网站的图片等资源时,不会显示。
一般的网站 CSS 和JS 调用基本上都是使用绝对路径,所以我们也可以对CSS 和JS 文件包进行重命名,以尝试打乱对方的网站 布局。
另外:一定要记得禁止您的服务器直接使用服务器IP访问您网站的功能,否则其他人可以通过将域名解析为您的IP来访问您的网站内容。