如何抓取网页flash(一个网站很多流量都是蜘蛛所浪费的，有哪些技巧和方法可以限制而不影响seo效果)

　　如何抓取网页flash(一个网站很多流量都是蜘蛛所浪费的，有哪些技巧和方法可以限制而不影响seo效果)

　　网站 如果使用虚拟空间，那么会有一定的流量限制。如果大部分流量都被蜘蛛占用了，那我们就需要多花点钱购买流量了。那么如果大量的网站流量被蜘蛛爬行浪费了，有什么技巧和方法可以在不影响seo效果的情况下进行限制呢？焦认为，我们可以使用以下方法：

　　1.找出用于IP阻塞的假蜘蛛。通过网站的日志分析，我们可以知道很多所谓的百度蜘蛛或者谷歌蜘蛛其实都是假的。我们可以通过解析来屏蔽这些假蜘蛛的IP，不仅可以节省流量，还可以降低网站被采集的风险。在具体操作中，需要查明该IP是否为真蜘蛛。操作方法是：点击左下角开始-运行-CMD-输入命令nslookup ip回车查看结果。如果是真搜索蜘蛛，有蜘蛛标记，但假蜘蛛没有标记。

　　2. 屏蔽无效的蜘蛛或搜索引擎效果很小的蜘蛛。比如我们知道谷歌蜘蛛的爬取量非常大，但是对于很多行业来说，谷歌的流量很低，seo效果不好。因此，可以屏蔽谷歌蜘蛛的爬行，节省大量流量。比如美里说网站屏蔽了谷歌蜘蛛的爬行。除了谷歌，还有一些蜘蛛，如盘古搜索、bing蜘蛛等，这些蜘蛛的流量很低，或者说效果不大的蜘蛛其实可以被屏蔽。

　　3.使用robots限制抓取无效页面或重复页面。有些页面可能之前存在但不再存在，或者同时存在动态和静态 URL。由于数据库中存在反向链接或此类链接，蜘蛛仍然会时不时地爬行。我们可以发现，404页面返回的url被拦截了，不仅提高了爬行拦截，也减少了流量的浪费。

　　4、限制页面的爬取内容，提高爬取效率和爬取速度，减少爬取流量。对于任何一个页面，都有很多无效的杂音区，比如网站登录、注册版块、底部版权信息和一些有用的链接导航等，或者有一些模板不能作为蜘蛛的显示模块识别等，我们可以使用Noffollow标签或者ajax、JS等方式来限制或者拦截爬取，减少爬取量。

　　5、外部调用或CDN加速，改善蜘蛛爬行，减少服务器响应和流量浪费。目前的网站多是使用大量的图片、视频等多媒体来展示，这些图片缺乏大量的下载流量。如果我们在外部调用图片，那么我们可以节省大量的蜘蛛爬行流量。. 目前比较好的方法是把图片放到别的服务器上或者上传到一些网盘上。

　　6、使用站长工具限制或增加蜘蛛爬行，或限制蜘蛛爬行时间。目前百度站长平台和谷歌站长平台都有站长抓取工具，可以用来限制蜘蛛抓取的时间和数量。我们可以根据需要进行合理的部署，以达到最好的效果。

　　以上是焦大总结的一些提高蜘蛛爬行效率和减少爬行量的方法。当然，在实践中，我们也可以根据自己的实际需要来解决。爬取频率低，如果收录对一些重要的内容不好，可以添加外链或者内链来提高爬取等。方法死了，我们可以根据具体的更新设置合理化实现少爬行和更高的爬行效率。本文由seo论坛鼻祖贡献，感谢红黑提供发布平台。