免费的:「营销工具」53款免费而强大的SEO工具

　　免费的:「营销工具」53款免费而强大的SEO工具

　　外贸营销*敏*感*词*开放，关注后进入关键词“回家”~

　　首席外贸营销顾问

　　首席外贸营销顾问王连发——为您提供最完整、最完整的电子整合营销解决方案、SEO优化知识、SNS营销知识、B2B营销推广策略等咨询服务

　　今天，我想与您分享8个免费但非常有用的SEO工具。作为全网的营销数据工具箱，相信对大家的外贸事业都会有很大的帮助。

　　（1） 关键词研究工具

　　这些工具可以帮助您发现人们正在搜索的主题。

　　1.回答公众

　　“回答公众”功能会从 Google 的自动填充结果中抓取被问到的问题（以及一些其他类型的查询）。这对于主题选择非常有用。

　　提示。。。

　　回答公众是一个免费增值工具。您可以使用它每天进行两次查询。

　　类似的替代方案：关键字工作表，Keywordtool.io

　　2. 谷歌关键字规划师

　　谷歌

　　关键字规划师是谷歌关键词研究工具。您最多可以提供 10 个*敏*感*词*关键词、一个网站或一个链接来帮助您找到相关关键词。

　　虽然关键字规划师在使用方面存在一些局限性，例如缺少绝对搜索量数据，但与您可能难以使用的传统关键词研究工具相比，它对于查找相关关键词要有用得多。

　　提示。。。

　　如果您想针对Bing搜索引擎进行优化，请不要忘记他们有自己的关键字规划师工具。

　　推荐阅读：如何使用谷歌关键字规划师（动手指南）。

　　3.Ahrefs 关键词*敏*感*词*

　　Ahrefs 关键词*敏*感*词*可以根据任何*敏*感*词*关键字或关键词，从我们来自 170 多个国家/地区的数百亿关键词数据库中获取前 100 个关键词建议。它还显示前 10 个关键词建议的每月搜索量估计值以及关键词难度分数。

　　您还将看到 50 个最相关的问题。

　　提示。。。

　　关键词*敏*感*词*还可以从Bing，YouTube和Amazon找到关键词建议。

　　4. 谷歌趋势

　　Google 趋势会显示某个主题在一段时间内的受欢迎程度。使用它来捕获和利用热门主题，并避免为人们兴趣减弱的主题创建内容。

　　推荐阅读： 如何使用Google趋势进行关键词研究：7种方法

　　5.关键词

　　关键字dit可以从Reddit中提取关键词。只需提供任何subreddit（例如/ r / bigSEO），它将输出关键词和每月搜索流量估计的列表。

　　这对于确定您不感兴趣但受众感兴趣的主题非常有用。

　　以下是从r/entrepreneur子主题中采集

的一些关键词：

　　问题可以从谷歌的“人们也问”（PAA）框中抓取。根据这些信息，您可以在文章中找到值得回答的问题。

　　例如，如果您正在撰写一篇关于“如何用醋清洁咖啡机”的文章，您可能需要回答以下问题：

　　7.关键字冲浪者

　　关键字冲浪者是一个免费的Chrome扩展程序，可以输入来自Google的任何查询的全球和每月搜索量估算值。您还可以使用边栏的类似关键词和相关短语工具。

　　这使得无需离开搜索引擎结果页面即可轻松运行关键词研究和竞争分析。

　　（2） 页面搜索引擎优化工具

　　这些工具可以帮助您优化页面以提高其在搜索引擎中的排名。

　　8.排名数学

　　Rank Math是WordPress的SEO插件，用于页面和技术SEO。

　　以下是它的一些功能：

　　类似的替代方案：YoastSEO，All in OneSEOPack和TheSEOFramework。

　　9.西普斯姆

　　SERPSim显示了网页在Google搜索结果中的外观。您需要做的就是输入标题、元描述和链接。

　　SERPSim还可以判断标题或描述是否太长。您应该修复这些问题，以防它们在搜索结果中被截断。

　　类似的替代方案：Colonent的搜索引擎结果页面预览工具

　　10. 谷歌的富媒体搜索结果测试

　　Google 的富媒体搜索结果测试工具会检查网页上的结构化标记，看看它是否可以在搜索结果中显示为丰富网页摘要。

　　推荐阅读： 什么是丰富网页摘要，如何在搜索结果中获取它们？

　　11.默克尔的结构化标记*敏*感*词*

　　Merkle的结构化标记*敏*感*词*可以生成JSON-LD格式的结构化数据。只需选择要生成的结构化标记类型（例如，本地商家、常见问题解答、产品等），填写表单，然后将生成的标记信息复制并粘贴到您的网站中。

　　然后，您可以使用 Google 的结构化数据测试工具来检查任何结构化标记信息的有效性。

　　推荐阅读：什么是结构化数据？为什么需要结构化数据？（英文）。

　　12.Ahrefs 的 SEO 工具栏

　　Ahrefs 的搜索引擎优化

　　工具栏是 Chrome 和 Firefox 的扩展，它直接在浏览器中显示 Ahrefs 的 SEO 指标。

　　它还为访问过的页面生成页面 SEO 报告，其中包括一系列指标，包括页面标题、元描述、字数统计、标题、多语言标签、规范内容标签、打开图形标签等。

　　除此之外，它还可以：

　　还有很多很多。

　　推荐阅读： Ahrefs SEO 工具栏 – 有什么新消息？（英文）。

　　（3） 链接构建工具

　　这些工具可以帮助您获得更多指向您网站的链接。

　　13.Ahrefs的链接检查器

　　Ahrefs 的链接检查器显示指向任何网站或页面的前 100 个反向链接。

　　它还显示最常链接的页面、最常用的锚文本、反向链接和引用域的总数，以及我们专有的域评级 （DR） 和 URL 评级 （UR） 信息。

　　就像我们的高级工具一样，Ahrefs 链接检查器由我们行业领先的数据库提供支持。以下是一些数据：

　　14.Hunter.io

　　Hunter.io 可以找到与网站关联的电子邮件地址。它的免费版本每月最多可以处理 50 次搜索。

　　您还可以使用此工具查找特定人员的电子邮件地址。只需输入域名和人员姓名。

　　为了更快地访问，您可以安装 Chrome 插件或使用 Google 表格扩展程序。

　　类似的选择：FindThat Email，Volia Norbert

　　推荐阅读：查找任何人电子邮件地址的 8 种可能方法

　　15.Ahrefs 的断开链接检查工具

　　Ahrefs 的断开链接检查器可以显示指向任何域、子域或链接的入站和出站链接。您可以使用此工具：

　　如果您更喜欢使用 Chrome 扩展程序实时检查断开的链接，您可以使用 链接矿工 或 检查我的链接.

　　16.刮刀

　　抓取

　　器是一个Chrome扩展程序，可让您从任何网页中抓取数据。它还可用于各种目的，例如从 Google 搜索结果中剥离链接机会。

　　推荐阅读：白帽营销人员剥离网站数据的 6 种可能方式

　　17.帮助记者（HARO）。

　　HARO是一项免费服务，将新闻来源与寻求专业精神的记者联系起来。

　　以下是该工具的工作原理：记者会有问题。他们需要专家来回答这些问题。HARO通过电子邮件将这些问题发送给订阅者。任何人都可以回复并可能成为新闻来源。

　　无论您是刚刚起步还是已经建立了一个网站。这是建立权威链接的好方法。

　　类似的服务是SourceBottle。

　　观看下面的视频，了解如何有效地使用 HARO：

　　18.连胜

　　Streak是一个免费增值的Chrome扩展程序，可以将您的Gmail邮箱变成客户关系管理（CRM）软件。

　　使用 Streak，您可以计划和发送大量修改后的电子邮件，查看是否有人打开了它们，等等。这是一个很棒的博主外展工具。

　　（4） 技术搜索引擎优化工具

　　

" />

　　这些工具可以帮助改进网站的技术方面。

　　19. 谷歌站长工具

　　谷歌

　　网站站长工具是 Google 提供的一项免费服务，可帮助您监控网站在搜索引擎中的效果并排查问题。

　　您可以使用它来查找和修复网站的技术问题、提交站点地图、查看结构化数据问题等等。

　　Bing和Yandex也有自己的网站管理员工具。

　　促进阅读：如何使用Google网站管理员工具改善SEO（初学者指南）。

　　20.Ahrefs 站长工具

　　（Ahrefs 网站管理员工具）。

　　Ahrefs 网站管理员工具是一个免费工具，可以帮助提高您网站的 SEO 性能。它允许您：

　　此工具是我们对 Google 网站站长工具的许多限制的回应。

　　21.尖叫青蛙

　　尖叫青蛙是一个基于桌面的网站爬虫。它是最受欢迎的工具之一，可用于分析和审核网站技术和页面SEO问题。

　　如果您使用免费版本，则最多可以抓取 500 个链接。

　　22.云耀斑

　　Cloudflare是一项免费的全球内容交付网络服务。它不仅可以加快您的网站速度，还可以保护它免受恶意攻击。

　　推荐阅读： 什么是内容分发网络 （CDN）？（英文）。

　　23.GTMetrix

　　GTMetix 可以分析您网页的加载速度。除了演示性能分数外，它还提供了使网页加载速度更快的可操作建议。

　　类似的替代方案：Google PageSpeed Insights，Pingdom，WebPageTest。

　　推荐阅读： 如何从头到尾提高页面加载速度（高级指南）。

　　24. 谷歌移动设备适用性测试

　　Google 的移动设备友好型工具可检查用户在移动设备上使用您的网页的难易程度。它还可以识别特定的移动友好问题，例如字体太小而无法阅读，以及使用不兼容的插件。

　　随着谷歌索引转向移动优先，拥有一个响应式网站比以往任何时候都更加重要。

　　25.糊状物

　　Smush 是一个免费的 WordPress 插件，可用于压缩、优化和调整图像大小。您可以使用它来确保您的网站加载速度足够快。

　　请注意： 免费版本一次仅支持压缩50张图像。您需要单击“恢复”按钮以继续优化下一批 50 张图像。

　　类似的替代品：短像素（免费版支持每月优化200张图片）。

　　26.去哪儿了？

　　Where Goes？是一个简单的工具，用于查看任何链接重定向的路径。

　　只需粘贴一个链接，它就会显示链中的重定向类型（例如 301、302 等）和重定向的数量。您应该尽量减少不必要的重定向，因为它会减慢网站的加载速度，从而导致用户体验不佳。

　　此外，尽管 Google 确认 3XX 重定向不会稀释页面索引，但过长的重定向链接会导致抓取配额的浪费。

　　如果你想要一个做同样事情的 SEOChrome 扩展，试试 Ahrefs SEO 工具栏。

　　推荐阅读： SEO的301重定向：你需要知道的一切

　　27.机器人.txt发电机

　　机器人.txt*敏*感*词*可以在几秒钟内创建格式良好的 robotx.txt 文件。

　　高级用户可以使用自定义选项为各种爬网程序、子目录等创建单独的规则。

　　推荐阅读：关于机器人.txt和SEO：你需要知道的一切

　　28.头模

　　HeadmasterSEO是一个简单的工具，可让您批量查看列表中所有链接的状态代码。它的免费版本允许用户一次查看500个链接的状态。

　　如果您喜欢该应用程序的网络版本，并且只想一次查看100个链接状态，请尝试 HTTPStatus.io。

　　29.保活验证SEOTool

　　使用此工具可查看是启用还是禁用了与网页的持久连接。

　　30. Chrome 开发者工具

　　Chrome

　　开发者工具是 Chrome 的内置网络调试工具。使用此工具可以调试网页加载速度问题、提高页面呈现性能等等。

　　从技术SEO的角度来看，该工具的使用是无穷无尽的。

　　31.查看渲染源

　　View Render Source是一个Chrome扩展，它显示了浏览器如何将网页的原创

HTML呈现到文档对象模型（DOM）中，包括由JavaScrpit引起的更改。

　　这对于需要审核或解决 JavaScript 问题的用户非常有用。

　　32. 国际标签*敏*感*词*

　　生成国际 （hreflang） 标记，用于指定网页的语言和地理目标。只需在此作业中输入所需的链接，选择您的目标国家/地区和语言，然后单击生成按钮。

　　推荐阅读： Hreflang 标签：初学者简明指南

　　（5） 排名检查工具

　　这些工具可以帮助您检查网站在目标地区的排名。

　　33.AhrefsSERP检查工具

　　Ahrefs 的 SERP 检查工具可以显示 170 多个国家/地区排名前 10 的任何关键词的结果。

　　对于前三个结果，您还将看到重要的 SEO 指标，例如引用域的数量、反向链接的数量和搜索流量估计。

　　34. 本地搜索结果检查工具

　　BrightLocal的本地搜索结果检查器可以展示来自任何位置的搜索结果 - 包括城市，乡镇甚至街道级别。

　　您甚至可以根据国家/地区指定语言：

　　类似的替代方案：Valentin.app。

　　35. 移动 SERP 检查器

　　MobileMoxie的SERPerator工具允许您按地址，城市，州或街道在任何地方查看您网站的移动排名。

　　您甚至可以比较来自不同设备的搜索结果，因为一些SEO从业者认为Google将在iOS和Android设备上显示不同的结果。

　　（6） 分析工具

　　这些工具可以帮助您测量和分析网站数据。

　　36.谷歌分析

　　谷歌分析类似于市场上最流行的分析工具。它可以为您提供一整套数据，您可以使用这些数据来优化营销的各个方面。

　　Bing的分析工具是Bing网站管理员工具，Yadex也有自己的分析工具Yandex Metrica。

　　推荐阅读： 如何使用Google Analytics提高SEO性能

　　37.关键词英雄

　　关键字关键词Hero试图将Google Analytics中的“（未提供）”数据替换为真实的搜索关键词。

　　它的免费版本允许用户每月分析 2，000 个会话，最多 10 个链接。

　　38.谷歌数据洞察

　　借助 Google 数据洞察，您可以创建交互式信息中心和报告。

　　它与Google的工具包集成，因此使用它来组合来自Google网站管理员工具，Google Analytics等来源的数据很简单。

　　39.Ahrefs的WordPress SEO插件

　　Ahrefs 的 WordPress SEO 插件可以帮助您进行内容审核和反向链接监控。

　　该插件将链接索引与Google Analytics数据相结合，可以为用户提供改进网站内容的建议 - 而且是完全免费的。

　　推荐阅读：如何运行内容审核并增加网站的自然流量[使用模板]。

　　（vii） 本地搜索引擎优化工具

　　这些工具可以帮助提高您的网站在本地搜索引擎结果列表中的排名。

　　40. 谷歌我的商家

　　谷歌

　　我的商家 （GMB） 可帮助您管理商家在 Google 搜索和地图中的显示方式。

　　声明和优化您的 GMB 消息可能是本地 SEO 最重要的工作。根据2018年Moz的一项研究，GMB是“零食包”和自然搜索最重要的本地排名因素之一。

　　

" />

　　41.Whitespark的谷歌我的商业评论链接生成工具

　　Whitespark的Google我的商家评论链接*敏*感*词*创建了一个可共享的链接，客户只需单击一下即可查看您的商家。

　　由于在您的 Google 本地业务上获取评论对于本地 SEO 很重要，因此您应该考虑通过电子邮件、社交媒体和其他方式分发此链接，以便用户尽可能轻松地留下评论。

　　42.怀特斯帕克的本地参考探头

　　Whitespark的本地参考检测器可以找到您业务的NAP（姓名，地址，电话号码）。姓名、地址、电话号码）引用机会。

　　根据2018年Moz的一项研究，引文信号对于本地排名非常重要。

　　（8） 其他工具

　　这些工具不属于上述任何类别。

　　43.阿尔戈鲁

　　Algoroo是Google的算法追踪工具。它允许您查看谷歌搜索引擎结果页面的波动并推断谷歌算法更新。

　　类似的替代方案：Ayima Pulse，排名风险指数。

　　44.回程机

　　的时间机器可以显示网页过去的样子。

　　这对于各种任务都很有用。例如，如果您正在构建断开的链接，此工具可让您知道死页最初的样子并可以复制它。

　　45. 谷歌快讯

　　使用 Google 快讯监控在线提及您或您商家名称的情况。您还可以使用它来监控竞争对手。

　　推荐阅读：如何设置Google快讯（并将其用于业务增长）。

　　（8） 八个免费且功能强大的 SEO 工具

　　46、回答公众

　　（）

　　作为全球知名的话题挖掘工具之一，Answer The Public可以帮助您在论坛、博客和社交媒体上准确发现相关话题和长尾关键词。

　　（1）通过相关问题的展示，为运营商提供软文

创作的热点话题，保证文章的SEO效果和谷歌的高排名。

　　比如产品比较文章《VS》类关键词可以给我们带来更多的写作思路。

　　（2）Answerthepublic的长尾关键词数据增加了商品详情页和博客页的关键词密度和丰富度。

　　（3）挖矿相关的问题可以作为Quora的问题来源，为Quora的多账户运营奠定基础。

　　47、伍兰克

　　（）

　　绝大多数SEO工具只能监控和显示与网站相关的问题，而不能显示解决方案。但是，除了提供可视化的网站问题列表外，Woorank还可以为网站技术优化带来解决方案。

　　Woorank指导您如何改进您的网站，使其符合SEO指标。

　　48、罐头

　　（）

　　CanIRank是一个超级详细的关键词难度分析工具。除了展示关键词的竞争力外，还为关键词排名提供了有利的基础。

　　49、SEMRush

　　（）

　　SEMRush在竞争对手反向链接数据挖掘和关键词优化排名领域发挥着关键作用。

　　输入目标关键词以获取大量相关关键词数据。

　　此外，SEMRush 还可以有效地识别外部链接权重传递（dofollow/nofollow）。

　　50、关键词无处不在

　　（）

　　关键字无处不在是搜索引擎中使用的关键词研究插件。

　　当我们在Google中使用目标关键词进行自然搜索时，关键字无处不在可以随时随地显示目标关键词及其长尾搜索量，竞争情况，CPC付费点击次数。

　　51、千瓦查找器

　　（）

　　KWfinder的强大之处在于它可以准确预测关键词趋势，准确把握关键词难度，可以帮助我们关键词筛选。

　　52、站点班轮

　　（）

　　对于网站页面和内容的搜索引擎优化，我们专注于Siteliner。

　　它是对网站SEO内容的全方位监控，可以提供免费完整的SEO报告。

　　Siteline的突出功能是将您的网站与Siteliner数据库中的其他网站进行比较。为我们网站内容的优化提供合理、定量的指导。

　　53、多合一SEO包

　　（）

　　最好的WordPress网站SEO插件使用，没有人。多合一SEO包主要用于自建网站的标题，描述和关键字的标签优化。

　　需要注意的是，使用此插件设置网站首页标题时，必须与网站设置中的标题设置一致，否则标题会出现乱码。

　　在

　　此外，使用多合一SEO包插件，您还可以设置页面或文章的Noindex/Nofollow等参数，以确保流量和权重的合理传输。

　　例如：文章的锚文本链接到“关于我们”页面，

　　但后者不是关键排名页面，所以为了避免降低文章页面的权重，设置为Nofollow，那么权威就不会流向关于我们页面，保证了文章页面的关键词权威性。

　　结论

　　我希望通过这篇文章确认这一点：你可以用免费的SEO工具做很多事情。

　　我没有忘记谷歌——很可能是最强大的免费SEO工具。

　　您可以使用Google查找客座博客机会，查找语义相关的关键词等等。您可以在我的Google搜索运营商一般指南中了解有关使用Google for SEO的强大方法的更多信息。

　　希望以上53个外贸网站SEO工具真的能帮助到大家。如果你有任何问题，可以留言，一起进步。

　　以上文章来源于张旭网和张旭外贸网站SEO推广策略总结，仅供学习交流使用~

　　关注公众号“外贸营销*敏*感*词*”，回复关键词“找客户”，获取谷歌其他找客户的方法和工具~

　　目前已有60，000+外贸关注加入我们

　　外贸营销*敏*感*词*开放，关注后进入关键词“回家”被邀请加入群~

　　优秀微信平台推荐↓

　　推荐理由：外贸营销*敏*感*词*旨在帮助外贸人建立自己的外贸营销生态圈，感谢您的关注，欢迎加入我们，成为我们的会员，在学习和分享中成就自己和他人！让数据赞美生活，让资源创造价值！

　　新浪微博：@Xiamen SEO顾问王连发

　　@Foreign贸易营销*敏*感*词*LinkedIn版：

　　▌免责声明：本公众号中任何文章浏览量均供交流讨论，本公众号不承担任何责任。

　　解决方案:这些爬虫框架你见过吗？33款开源爬虫框架分享！

　　该项目还很不成熟，但功能基本完成。用户需要熟悉 XML 和正则表达式。目前，该工具可以抓取各种论坛，帖子栏和各种CMS系统。像Discuz！，phpbb，论坛和博客这样的文章可以通过此工具轻松抓取。抓取定义完全是XML，适合Java开发人员。

　　如何使用：

　　下载右侧的 .war 软件包并将其导入 Eclipse

　　使用 WebContent/sql 下的 wcc.sql 文件构建示例数据库

　　修改 src 包中 wcc.core 的 dbConfig .txt，并将用户名和密码设置为您自己的 mysql 用户名和密码。

　　然后运行SystemCore，运行时会在控制台中运行，默认示例.xml配置文件将不带参数执行，取参数时名称为配置文件名。

　　该系统带有3个示例，即百度.xml抓取百度知道，.xml抓取我的javaeye博客的示例，以及使用discuz论坛抓取内容的bbs.xml。

　　特点：高度可定制和可扩展通过XML配置文件

　　12、蜘蛛侠蜘蛛

　　侠是一款基于微内核+插件架构的网络蜘蛛，其目标是通过简单的方法将复杂的登陆页面信息抓取和解析为你需要的业务数据。

　　如何使用？

　　首先，确定您的目标网站和登录页面（即您想要从中获取数据的某种类型的页面，例如网易新闻的新闻页面）。

　　然后，打开目标页面，分析页面的HTML结构，并获取XPath

　　你想要的数据，如何获取具体的XPath，请看下面。

　　最后，在xml配置文件中填写参数并运行蜘蛛侠！

　　特点：灵活、可扩展，微内核+插件架构，数据捕获通过简单配置即可完成，无需编写一行代码

　　13、网络魔术

　　webmagic是一个非配置，易于开发的爬虫框架，它提供了一个简单灵活的API，只需少量的代码来实现爬虫。

　　WebMagic采用完全模块化设计，功能覆盖整个爬虫生命周期（链接提取、页面下载、内容提取、持久化），支持多线程爬网、分布式爬网，并支持自动重试、自定义UA/Cookie等功能。

　　WebMagic收录

强大的页面提取功能，开发者可以轻松使用CSS选择器，XPath和正则表达式进行链接和内容提取，并支持多个选择器链调用。

　　WebMagic使用文档：

　　查看源代码：

　　功能：该功能覆盖整个爬虫生命周期，使用 Xpath 和正则表达式进行链接和内容提取。

　　注：本为国产开源软件，由黄一华贡献

　　14、网收

　　Web-Harvest是一个Java开源Web数据提取工具。它能够采集

指定的网页并从这些页面中提取有用的数据。Web-Harvest主要使用XSLT，XQuery，正则表达式等技术来实现文本/XML操作。

　　实现原则是使用 httpclient 获取

　　页面根据预定义的配置文件（关于httpclient的内容，本博客中已经介绍了一些文章），然后使用XPath，XQuery，正则表达式等技术实现文本/XML内容过滤操作并选择准确的数据。前两年比较流行的垂直搜索（比如：Kuxun等）也是用类似的原理实现的。Web-Harvest 应用程序的关键是理解和定义配置文件，其余的就是考虑如何处理带有数据的 Java 代码。当然，在爬虫启动之前，您也可以将 Java 变量填充到配置文件中以实现动态配置。

　　特点：采用XSLT、XQuery、正则表达式等技术实现文本或XML的操作，具有可视化界面

　　15、网络智网

　　WebSPHINX是Java类包和Web爬虫的交互式开发环境。网络爬虫（也称为机器人或蜘蛛）是自动浏览和处理网页的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPHINX类包。

　　许可协议：阿帕奇

　　开发语言：爪哇

　　特点：由爬虫工作平台和WebSPHINX类包两部分组成

　　16、雅西

　　YaCy是一个基于p2p的分布式网络搜索引擎。它也是一个 Http 缓存代理服务器。该项目是构建p2p网络索引网络的新方法。它可以搜索您自己的或全局索引，抓取您自己的网页或开始分布式爬网等

　　特点：基于P2P的分布式网络搜索引擎

　　蟒蛇爬虫

　　17、快速侦察

　　QuickRecon 是一个简单的信息采集

工具，可以帮助您查找子域名、执行区域转换、采集

电子邮件地址、使用微格式查找关系等。QuickRecon是用Python编写的，支持Linux和Windows操作系统。

　　特征

　　：查找子域名、采集

电子邮件地址和查找关系等功能

　　18、轨道炮

　　这是一个非常简单易用的抓取工具。简单、实用、高效的python网络爬虫爬行模块，支持抓取JavaScript呈现的页面

　　特点：简单，轻量级，高效的网页抓取框架

　　

" />

　　注意：此软件也是由新加坡人打开的

　　Github下载：#readme

　　19、刮擦

　　Scrapy是一套基于Twisted的爬虫框架异步处理框架，纯python实现，用户只需要定制和开发几个模块就能轻松实现一个爬虫，用来抓取网页内容和各种图片，非常方便~

　　GitHub 源代码：

　　特点：基于扭曲的异步处理框架，完整的文档

　　C++爬虫

　　20、海蜘蛛

　　HiSpider是一款快速高性能的高速蜘蛛

　　严格来说，它只能

　　作为一个爬虫系统框架，没有详细的要求，目前只能提取URL、URL调度、异步DNS解析、队列任务，支持N机分布式下载，支持网站定向下载（需要配置hispiderd.ini白名单）。

　　特点和用法：

　　工作流程：

　　许可协议：BSD

　　开发语言：C/C++

　　操作系统： Linux目录

　　特点：支持多机分布式下载，支持网站针对性下载

　　21、拉宾

　　Larbin是由法国年轻人Sébastien Ailleret独立开发的开源网络爬虫/蜘蛛。Larbin的目的是能够跟踪页面的URL进行扩展抓取，最终为搜索引擎提供广泛的数据源。Labbin 只是一个爬虫，这意味着 Labbin 只抓取网络，用户做关于如何解析的事情。此外，如何存储到数据库和索引的东西larbin不提供。一个简单的larbin爬虫每天可以获取500万个网页。

　　使用larbin，我们可以轻松获取/确定指向单个网站的所有链接，甚至可以镜像网站;还可以使用它来创建 URL 列表组（如所有网页的 URL 检索），然后检索 XML 链接。或mp3或自定义larbin，可以作为搜索引擎的信息来源。

　　特点：高性能爬虫软件，只负责抓取，不负责解析

　　22、美沙博特

　　Methabot是一个速度优化，高度可配置的WEB，FTP，本地文件系统爬虫。

　　特点：超速优化，可抓取网络，FTP和本地文件系统

　　源代码：

　　C# 爬网程序

　　23、NWeb爬虫

　　NWebCrawler是一个开源的C#网络爬虫。

　　特征：

　　许可证许可证：GPLv2

　　开发语言：C#

　　操作系统： 视窗

　　项目主页：

　　特点：统计信息，执行过程可视化

　　24、西诺勒

　　中国第一个微博数据爬虫！原名“新浪微博爬虫”。

　　登录后，可以指定用户为起点，以用户的关注者和粉丝为线索，延伸人脉，采集

用户基本信息、微博数据、评论数据。

　　本应用获取的数据可作为科学研究、新浪微博相关研发等的数据支持，但请勿用于商业目的。该应用程序基于 ..NET 2.0 框架需要 SQL Server 作为后台数据库，并为 SQL Server 提供数据库脚本文件。

　　此外，由于新浪微博API的限制，抓取的数据可能不完整（如获取关注者数量限制、微博获取数量限制等）。

　　本程序的版权属于作者。您可以免费复制、分发、展示和表演当前作品，并制作衍生作品。您不得将当前的作品用于商业目的。

　　5.x 版本已发布！此版本中有 6 个后台工作线程：抓取用户基本信息的机器人、抓取用户关系的机器人、抓取用户标签的机器人、抓取微博内容的机器人、抓取微博评论的机器人和调整请求频率的机器人。更高的性能！最大化您的爬虫潜力！从目前的测试结果来看，已经可以满足自用的需求了。

　　该程序的特点：

　　6 个后台工作线程，以最大限度地提高爬虫的性能潜力！

　　界面提供参数设置，灵活方便

　　放弃 app.config 配置文件，实现配置信息的加密存储，保护数据库帐户信息

　　自动调整请求频率，防止超限，又避免过慢而降低效率

　　任何控制爬虫，可以随时暂停、恢复、停止爬虫

　　良好的用户体验

　　

" />

　　许可证许可证：GPLv3

　　开发语言：C# .NET

　　操作系统： 视窗

　　25、蜘蛛网

　　SpiderNet是一个基于递归树模型的多线程网络爬虫，支持文本/html资源的检索。可以设置抓取深度、最大下载字节限制，支持gzip解码，支持gbk（GB2312）和utf8编码资源;存储在SQLite数据文件中

　　源代码中的 TODO： 标签描述了未完成的函数，想要提交您的代码

　　GitHub 源代码：

　　特点：以递归树为模型的多线程网络爬虫，支持GBK（gb2312）和utf8编码的资源，使用SQLite存储数据

　　26、网络爬虫

　　Mart and Simple Web Crawler是一个Web爬虫框架。集成的 Lucene 支持。爬网程序可以从单个链接或链接数组开始，提供两种遍历模式：最大迭代和最大深度。您可以设置过滤器来限制链接爬回，默认情况下提供三个过滤器 ServerFilter、BeginningPathFilter 和 RegularExpressionFilter，它们可以与 AND、OR 和 NOT 结合使用。 可以在解析之前和之后或页面加载之前和之后添加侦听器。介绍来自 Open-Open

　　特点：多线程，支持抓取PDF/DOC/EXCEL等文档源

　　27. 网络矿工

　　网站数据采集

软件 Web miner collector（以前称为 Soukey Picking）。

　　搜基采摘网站数据采集软件是

　　基于.Net平台的开源软件，也是网站数据采集软件类型中唯一的开源软件。虽然Soukey选择开源，但并不影响软件功能的提供，甚至比一些商业软件的功能还要丰富。

　　特点：功能丰富，不逊色于商业软件

　　PHP 爬虫

　　28、开放网络蜘蛛

　　OpenWebSpider是一个开源的多线程网络蜘蛛（robot：robot，crawler：crawler）和搜索引擎，具有许多有趣的功能。

　　特点：开源多线程网络爬虫，具有许多有趣的功能

　　29、PhpDig

　　PhpDig是一个使用PHP开发的网络爬虫和搜索引擎。通过索引动态和静态页面来构建词汇表。搜索查询时，它会显示收录

特定排序规则中的关键字的搜索结果页。PhpDig包括一个模板系统，能够索引PDF，Word，Excel和PowerPoint文档。PHPdig适用于更专业、更深入的个性化搜索引擎，是用它来构建某个领域的垂直搜索引擎的最佳选择。

　　演示：

　　特点：具有采集

网页内容和提交表单的功能

　　30、思考

　　ThinkUp是一个社交媒体视角引擎，可以从Twitter和Facebook等社交网络采集

数据。交互式分析工具，可从个人的社交网络帐户采集

数据，对其进行存档和处理，并可视化数据以便更直观地查看。

　　GitHub 来源：

　　特点：社交媒体视角引擎，采集

Twitter和Facebook等社交网络数据，可以进行交互式分析并将结果可视化

　　31. 微购

　　微购社交购物系统是基于ThinkPHP框架开发的开源购物分享系统，也是一套面向站长和开源的淘宝网站程序，集成了淘宝、天猫、淘宝等300多个商品数据采集接口，为广大淘宝站长提供傻瓜式淘宝建站服务， 会HTML会做程序模板，免费开放下载，是广大淘宝站长的首选。

　　演示网址：

　　许可协议：GPL

　　开发语言：PHP

　　操作系统：跨平台

　　二郎爬虫

　　32、电子机器人

　　Ebot是一个可扩展的分布式网络爬虫，用ErLang语言开发，URL保存在数据库中，可以通过RESTful HTTP请求进行查询。

　　GitHub 源代码：

　　项目主页：

　　特点：可扩展的分布式网络爬虫

　　*敏*感*词*爬虫

　　33、斯皮德

　　Spidr 是一个 Ruby 网络爬虫库，可以完全在本地抓取整个网站、多个网站和一个链接。

　　特点：一个或多个网站，一个链接可以完全抓取本地

　　本文由 36 个数据采集

者编译