输入关键字 抓取所有网页(谷歌分析代码,具体的文本,或代码等(组图))

　　输入关键字 抓取所有网页(谷歌分析代码,具体的文本,或代码等(组图))

　　AJAX 的 SEO AJAX 蜘蛛遵循 Google 的计划。

　　Inlinks - 所有页面都链接到一个 URI。

　　Outlinks - 所有页面都链接到 URI。

　　锚文本，链接文本。替代文字图片链接。

　　Follow & Nofollow - 在页面和链接上（真/假）。

　　图片 - 所有带有图片的 uris 和来自给定页面的所有图片都已链接。图片大小超过 100kb，缺少替代文字，替代文字超过 100 个字符。

　　User-Agent Switcher - 抓取 Googlebot、Bingbot、Yahoo！声音、移动用户代理或您自己的自定义 UA。

　　重定向链，查找重定向链和循环。

　　自定义源代码搜索 - 搜索引擎蜘蛛可以在 网站 中找到您想要的任何源代码！无论是 Google Analytics 代码、特定文本还是代码等（请注意，这不是数据提取或抓取功能。）

　　XML网站Map Generator - 您可以使用 SEO Spider 创建 XML 站点地图和图像地图。

　　如何使用 ScreamingFrogSEOSpider

　　ScreamingFrogSEOSpider 使用起来非常方便，只需输入你的网站主页的URL，然后点击开始，等待爬取完成，就可以看到各种详细的数据了。

　　下图以提取我博客的整个站点URL为例，给大家展示一下效果：

　　红框1中的这些标签会依次为你翻译：内部链接、外部链接、HTTP协议（HTTP或HTTPS）、HTTP状态码（200、3XX、4XX、5XX）、URI（注意不是URL，URI是Uniform Resource Identifier，统一资源标识符；URL：Uniform Resource Locator，统一资源定位器；想了解更多请去百度），页面标题标签，页面描述标签，页面关键字标签，页面H1标签、页面H2标签、现场图片、页面链接、使用AJAX技术的链接、自定义过滤规则。

　　红框2：点击后会在我们的首页看到一些信息，比如红框4，首页的导入链接是什么，红框3，ScreamingFrogSEOSpider提取的整个站点的链接数，结合站点说明，您可以了解我们网站站点收录的大概情况。

　　通过以上的讲解，相信你已经了解了这个工具的强大之处！那么接下来你可能关心的是这个工具是付费的还是免费的？

　　通过官网的介绍，我们知道可以免费下载和使用该软件，但免费版只能抓取全站500个网址。如果是小型企业网站，就足够了。如果是大网站，可以考虑。一年99英镑起买一个，约合*敏*感*词*972元（感谢seolabs指正：）），对于玩大站的朋友来说简直太便宜了，哈哈！

　　你认为文章 的写作应该到此结束吗？如果你这么想，那你就错了！方法博客只为分享有价值的文章而生，所以今天送上价值694元的礼物送给有幸看到这个文章的朋友！那就是：（睁大眼睛！）

　　ScreamingFrogSEOSpider 下载

　　由于官网在英国，打开速度极慢，这里是官网的直接下载链接：

　　ScreamingFrogSEOSpider注册码！可以使用一年！

　　为了方便大家COPY，我贴在这里：

　　用户名：gn168

　　许可证密钥：20D8E5C5AF-1467881526-81359030D5

　　2016.9.28更新：上面的注册码已经过期，下面是新发现的，大家可以试试。我注册了第一个。

　　用户名：

　　序列号：35821799C7-1503300883-11CFA*敏*感*词*652

　　用户名：

　　序列号：180A8B33F9-1503300970-5859C71542

　　用户名：

　　序列号：99A43BF96D-1503300995-9F3AB42B03

　　以上注册码由广年论坛热心朋友提供。你可以访问这位朋友的网站：为他的无私奉献贡献一个IP！:)

　　如果要下载一个完整的网站到本地，会有更好的模拟搜索引擎爬虫工具，那就是国屏曾经分享的Httrack模拟搜索引擎爬虫工具，继续写文章与大家分享Httrack的使用方法！

　　文章写到这里，真的是该结束了，该说的也说完了。为了和大家分享这个好工具，我已经把它编码到凌晨1:00。看到我为人民付出的努力，你既然都看到了，下面的留言区不给我点个赞，你会不会不好意思？:):):):):)