ajax抓取网页内容(ScreamingFrogSEOSpiderforMac软件介绍(一)_)

　　ajax抓取网页内容(ScreamingFrogSEOSpiderforMac软件介绍(一)_)

　　Screaming Frog SEO Spider for Mac 是一款专门用于抓取网址进行分析的网络爬虫开发工具。您可以使用本软件快速抓取网站中可能出现的断链和服务器错误，或者识别网站中临时和永久重定向的链接周期，也可以检查重复问题信息中心可能出现的URL、页面标题、描述、内容等。

　　Screaming Frog SEO Spider for Mac 软件介绍

　　Screaming Frog SEO Spider for Mac 是一款网站 爬虫，可让您爬取网站 的网址，获取关键元素、分析和审计技术以及现场搜索引擎优化。

　　Mac 版 Screaming Frog SEO Spider 的功能

　　1、找到失效链接

　　立即抓取 网站 并找到断开的链接 (404) 和服务器错误。批量导出错误和源网址进行修复或发送给开发者。

　　2、审核重定向

　　查找临时和永久重定向，识别重定向链和循环，或上传 URL 列表以在网站迁移期间进行审核。

　　3、分析页面标题和元数据

　　在抓取过程中分析页面标题和元描述，识别网站过长、缺失、缺失或重复的内容。

　　4、发现重复内容

　　使用 md5 算法检查和查找完全重复的 URL、部分重复的元素（例如页面标题、描述或标题）并查找低内容页面。

　　5、使用XPath提取数据

　　使用 CSS Path、XPath 或正则表达式从网页的 HTML 中采集任何数据。这可能包括社交元标签、其他标题、价格、SKU 或更多！

　　6、查看机器人和说明

　　查看被 robots.txt、元机器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及规范和 rel="next" 和 rel="prev" 阻止的 URL。

　　7、生成 XML 站点地图

　　快速创建 XML 站点地图和图片 XML 站点地图，并通过 URL 进行高级配置，包括最后修改、优先级和更改频率。

　　8、与 Google Analytics 集成

　　连接到 Google Analytics API 并获取用于抓取功能的用户数据，例如会话或跳出率以及着陆页的转化、目标、交易和收入。

　　9、抓取 JavaScript网站

　　使用集成的 Chromium WRS 来渲染网页以抓取动态的、富含 JavaScript 的 网站 和框架，例如 Angular、React 和 Vue.js。

　　10、可视化网站架构

　　使用交互式爬虫和目录强制地图和树形地图站点来直观地评估内部链接和 URL 结构。

　　Screaming Frog SEO Spider for Mac 快速总结

　　错误 - 客户端错误，例如断开的链接和服务器错误（无响应、4XX、5XX）。

　　永久重定向、临时重定向（3XX 响应）和 JS 重定向。

　　被阻止的网址 - robots.txt 协议不允许查看和审查网址。

　　被阻止的资源 - 在演示模式下查看和审核被阻止的资源。

　　外部链接-所有外部链接及其状态代码。

　　协议 - URL 是安全 (HTTP) 还是不安全 (HTTP)。

　　URI 问题 - 非 ASCII 字符、下划线、大写字符、参数或长 URL。

　　重复页面-哈希/MD5校验和算法来检查完全重复的页面。

　　页面标题缺失、重复、超过65个字符、较短、像素宽度被截断、等于或大于h1。

　　元描述-缺失、重复、超过 156 个字符、短、截断或像素宽度多。

　　元关键字 - 主要供参考，因为它们未被 Google、Bing 或 Yahoo 使用。

　　文件大小-网址和图片的大小。

　　响应时间。

　　最后修改的标题。

　　页面（抓取）深度。

　　字数统计。

　　H1-缺失，重复，超过70个字符，不止一个。

　　H2-缺失，重复，超过70个字符，不止一个。

　　元机器人索引、无索引、follow、nofollow、noarchive、nosnippet、noodp、noydir等

　　元刷新——包括目标页面和时间延迟。