网页内容抓取工具(WebScraperWebScraperMac版(Mac网站数据抓取工具)全面介绍 )
优采云 发布时间: 2021-11-15 20:17网页内容抓取工具(WebScraperWebScraperMac版(Mac网站数据抓取工具)全面介绍
)
WebScraper for Mac(Mac网站数据抓取工具)是Mac平台上一款非常好用的网站数据抓取工具。小编带来的WebScraper Mac版软件功能强大,功能全面。使用后,可以帮助用户更轻松便捷的抓取网站数据,非常方便实用。WebScraper Mac 版通过使用一个简单的应用程序将数据导出为 JSON 或 CSV,WebScraper Mac 版可以快速提取与网页相关的信息(包括文本内容)。WebScraper 使您能够以最少的努力从在线资源中快速提取内容。您可以完全控制将导出到 CSV 或 JSON 文件的数据。欢迎有需要的朋友下载使用。
特征:
使用多线程快速扫描任何网站
在 WebScraper 主窗口中,您必须指定要扫描的网页的 URL 地址以及用于完成此过程的线程数。您可以借助简单的滑块调整以下参数。为避免任何不必要的扫描,您可以选择仅抓取单个网页,然后通过简单的鼠标单击开始该过程。在实时查看窗口中,您可以看到每个链接返回的状态消息,这在处理调试任务时可能会很有用。
提取各种类型的信息并将数据导出为 CSV 或 JSON
在 WebScraper 输出面板中,您可以选择希望实用程序从网页中提取的信息类型:URL、标题、描述、与不同类别或 ID 关联的内容、标题、各种格式的页面内容(纯文本、HTML或 MarkDown) 和最后修改日期。
您还可以选择输出文件格式(CSV 或 JSON),决定合并空格,并在文件超过一定大小时设置警报。如果您选择使用 CSV 格式,您可以选择何时在列周围使用引号、用引号替换引号或行分隔符的类型。最后但并非最不重要的是,WebScraper 还允许您更改用户代理、设置链接数量和主页点击次数的限制、忽略查询字符串以及使用根域的子域作为内部页面。