seo网站日志分析工具(一个网站很多流量都是蜘蛛所浪费的，有哪些技巧和方法可以限制而不影响seo效果)

　　seo网站日志分析工具(一个网站很多流量都是蜘蛛所浪费的，有哪些技巧和方法可以限制而不影响seo效果)

　　网站 如果使用虚拟空间，那么会有一定的流量限制。如果大部分流量都被蜘蛛占用了，那我们就需要多花点钱购买流量了。那么如果大量的流量被蜘蛛爬行浪费了，有什么技巧和方法可以限制而不影响seo效果呢？数字商圈认为，我们可以采用以下方法：

　　1.找出假蜘蛛来阻止 IP。通过网站的日志分析，我们可以知道很多所谓的百度蜘蛛或者谷歌蜘蛛其实都是假的。我们可以通过解析来屏蔽这些假蜘蛛的IP，不仅可以节省流量，还可以降低网站被采集的风险。在具体操作中，需要查明该IP是否为真蜘蛛。操作方法是：点击左下角开始-运行-CMD-输入命令nslookup ip回车查看结果。如果是真搜索蜘蛛，有蜘蛛标记，但假蜘蛛没有标记。

　　2.屏蔽无效蜘蛛或搜索蜘蛛，对 seo 影响不大。比如我们知道谷歌蜘蛛的抓取量非常大，但是对于很多行业来说，谷歌的流量很低，seo效果不好。因此，可以屏蔽谷歌蜘蛛的爬行，节省大量流量。比如美里说网站屏蔽了谷歌蜘蛛的爬行。除了谷歌，还有一些蜘蛛，如盘古搜索、bing蜘蛛等，这些蜘蛛的流量很低，或者说效果不大的蜘蛛其实可以屏蔽。

　　3、使用robots限制抓取无效页面或重复页面。有些页面可能之前存在但不再存在，或者同时存在动态和静态 URL。由于数据库中存在反向链接或此类链接，蜘蛛仍然会时不时地爬行。我们可以发现，返回的404页面，所有的URL都被屏蔽了，不仅提高了抓取的屏蔽性，也减少了流量的浪费。

　　4.限制页面的爬取内容，提高爬取效率和爬取速度，减少爬取流量。对于任何一个页面，都会有很多无效的噪音区域，比如网站登录、注册部分、底部版权信息和一些有用的链接导航等，或者有一些模板不能作为蜘蛛的显示模块识别等，我们可以使用Noffollow标签或者ajax、JS等方式来限制或者拦截爬取，减少爬取量。

　　5、外部调用或CDN加速改善蜘蛛爬行，减少服务器响应和流量浪费。目前的网站大多使用大量的图片、视频等多媒体来展示，这些图片缺乏大量的下载流量。如果我们在外部调用图片，那么我们可以节省大量的蜘蛛爬行流量。 目前比较好的方法是把图片放到别的服务器上或者上传到一些网盘上。

　　6.使用站长工具限制或增加蜘蛛的爬行，或限制蜘蛛的爬行时间。目前百度站长平台和谷歌站长平台都有站长抓取工具，可以用来限制蜘蛛抓取的时间和数量。我们可以根据需要进行合理的部署，以达到最好的效果。

　　当然，在实践中，我们也可以根据自己的实际需要来解决。比如我们可以在sitemap中对一些爬取量过大的栏目设置较低的爬取频率，如果收录不好的话，还可以增加外链或者内链来提高爬取，等方法已经死了。我们可以根据具体的更新情况进行合理的设置，实现更少的爬取和更高的爬取效率。