韩国搜索引擎优化(什么是OpenGraphProtocolMeta标签？Yisouspider标签是什么 )

　　韩国搜索引擎优化(什么是OpenGraphProtocolMeta标签？Yisouspider标签是什么

)

　　添加开放图谱协议元标记。关于什么是OPG标签，请参考以下文章：

　　什么是开放图谱协议元标签？

　　

　　伊索蜘蛛

　　Yisouspider是神马寻找的蜘蛛。

　　Yandex机器人

　　*敏*感*词*搜索巨头Yandex的蜘蛛，

　　Yandex搜索引擎收录优化

　　Yandex搜索引擎如何加速收录？

　　360蜘蛛

　　360搜索蜘蛛

　　花瓣机器人

　　PetalBot是华为自研搜索引擎的爬虫，叫花瓣蜘蛛。未来，它还可能在中国推出另一个搜索引擎。目前，华为的花瓣搜索引擎只对欧洲用户开放。

　　PetalBot 符合互联网机器人协议。您可以使用robots.txt文件来完全阻止PetalBot访问您的网站，或者阻止PetalBot访问您的网站上的某些文件。

　　为了对目标资源获得更好的搜索结果，PetalBot 需要保持一定程度的网站爬行。我们努力不给 网站 强加不合理的负担。我们会根据服务器容量、网站质量、网站更新等综合因素进行调整。如果PetalBot来访中有任何不合理的行为，请将您的疑虑发送至。

　　搜狗网蜘蛛

　　搜狗搜索引擎蜘蛛。

　　机器人

　　AhrefsBot是国外网站的蜘蛛程序，那什么是Ahrefs网站，这是国外的网络营销网站，有点类似于国内的5118、站长网等在SEO界比较有名。AhrefsBot 数据库中有超过 12 万亿个链接。每天，它都会持续执行和监控 Ahrefs 的在线营销活动。它每 24 小时访问超过 60 亿个网页，每 15-30 分钟更新一次索引。

　　根据一项调查，AhrefsBot 是仅次于 Googlebot 的全球第二活跃的蜘蛛爬虫。

　　AhrefsBot 会增加你服务器的负担，不会对你的网站造成任何影响。既不会在网站上触发广告，也不会增加统计流量。建议屏蔽 AhrefsBot

　　机器人

　　SemrushBot 是 SEMrush 的蜘蛛爬虫。

　　SEMrush 是一家提供搜索引擎优化数据的成熟公司。它是一个强大而全面的在线营销竞争情报平台，包括SEO、PPC、社交媒体和视频广告研究。

　　建议 网站 阻止其爬行。首先，因为这种蜘蛛爬行不会给网站带来流量，只会占用服务器资源。其次，这是一个数据分析公司的爬虫。数据将成为竞争对手的分析工具。

　　如何阻止 SemrushBot？

　　只需将以下代码添加到 robots.txt 文件中：

　　用户代理：SemrushBot

　　不允许： /

　　用户代理：SemrushBot-SA

　　不允许： /

　　BLEX机器人

　　Blexbot 是 WebMeUp 的蜘蛛爬虫。Blexbot 每天可以抓取数百亿个页面来采集反向链接数据并将数据提供给其链接索引（SEO SpyGlass 中使用的链接索引）。

　　WebMeUp是美国的一个反向链接查询工具网站。它的一般形式是

　　Mozilla / 5.0（兼容；BLEXBot / 1.0；+ ）

　　*敏*感*词*器人

　　Adsbot 是 Google AdWords 的蜘蛛，即广告网络。

　　MJ12bot

　　MJ12bot是英国老牌搜索引擎营销网站 Majestic的爬虫。他有专门的中文网站，为外链查询等很多SEO数据查询提供数据支持。做过外链的都知道可以获取外链资源。这是一项基本能力。这个网站可以查询网站的外链资源数量，但是很多公司在日志中看到这个MJ12bot蜘蛛，一般都会选择直接屏蔽（MJ12bot是Majestic-12分布式搜索引擎爬虫)

　　官方修改robots的方法是在robots.txt文件中添加：

　　User-agent:MJ12bot

Disallow:/

　　机器人

　　DotBot 是 Moz 的网络爬虫程序。Moz的链接分析网站opensiteexplorer专门用于分析网站SEO外链数据。BotBot蜘蛛爬虫服务于Moz，抓取互联网上的大量网页。数据分析类。

　　如果我们不想Dotbot抢到我们自己的网站，我们可以使用robots.txt来屏蔽。DotBot 遵守 robots.txt 协议。

　　DotBot蜘蛛爬虫原型

　　Moz 蜘蛛爬虫 UA：“Mozilla/5.0（兼容；DotBot/1.1；，）”

　　网站如何禁止DotBot爬取

　　在我们网站的根目录下的robots.txt文件中写入如下代码：

　　用户代理：DotBot

　　不允许： /

　　苹果机器人

　　Applebot 是苹果公司推出的一款网络爬虫工具。“Siri Suggestions”和“Focus Suggestions”等产品都使用Applebot。该工具遵循通常的robots.txt规则和robots元标记，并且源自17.0.0.0网络块。

　　用户代理字符串收录“Applebot”和其他代理信息。示例如下：

　　Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) 版本/8.0.2 Safari/600.2.5 (Applebot/0.1)

　　CCbot

　　CCbot，全称Common Crawl Bot，是一个非盈利基金会，致力于提供一个开放的网络爬虫数据存储库，供所有人访问和分析。

　　二. 怎么对付CCbot蜘蛛？

　　方法1. 使用robots.txt

　　使用 robots.txt 文件允许或禁止蜘蛛访问页面。robots.txt放在网站的根目录下。蜘蛛来访时，会先找到并查看robots.txt文件，按照robots协议访问网站上的内容。允许进入蜘蛛并离开。

　　DuckDuckGoBot

　　DuckDuckGoBot 是著名元搜索引擎 DuckDuckGo 的爬虫，DuckDuckGo Favicon Bot 是用于获取 网站 Favicon.ico 图标的蜘蛛。

　　DuckDuckGo 是美国的互联网搜索引擎。其总部位于宾夕法尼亚州福吉谷。DuckDuckGo 强调在传统搜索引擎的基础上引入各大 Web 2.0 站点的内容。其网站理念主张维护用户隐私，并承诺不监控或记录用户搜索。DuckDuckGo-Favicons-Bot

　　一般默认的形式是 Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +)” – 0.047 0.047

　　机器人

　　yacy 搜索引擎蜘蛛。

　　DataForSeoBot

　　DataForSEO 网站 的蜘蛛。因为访问率太高，建议屏蔽小网站。

　　自从我们推出 DataForSEO 以来，我们的使命就是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来公平竞争。

　　DataForSEO 机器人是为了确保 SEO 社区的每个成员（无论口袋大小）都可以访问 Google 排名算法的核心元素。我们正在开发网络上最大的可用反向链接数据库，社区的每个成员，包括您，都可以使用该数据库并从中受益。

　　Backlinks API 是我们正在开发的新产品的名称。它只有一个目的：为网站站长、网站站长和SEO专业人士提供分析网站优化和反向链接关键组件的机会。

　　为了实现这个雄心勃勃的目标，我们需要构建一个类似于 Google 的 PageRank 算法的系统并确保其有效。在过去的一年里，我们的团队一直在研究、规划、构建和重述这个系统。

　　但要走得更远，我们需要您的帮助。不，这次我们不想卖给你任何东西。事实上，你能做的最好的事情就是……好吧，什么都不做

　　如果您正在阅读本文，请不要急于到您的 robots.txt 阻止我们的用户代理。这样，您将帮助成千上万的网站 所有者（如您一样）提高网站 的知名度。

　　我们每个月订阅访问这个特定的API（截至今年12月8日，价格为30美元，此日期之后将没有折扣，您必须支付全额访问费用，每月100美元）

　　如何编写robots.txt

　　#我们建议这样写：

User-agent: *

Allow: /

User-agent: AhrefsBot

Disallow: /

User-agent: SemrushBot

Disallow: /

User-agent: MJ12bot

Disallow: /

User-agent: DataForSeoBot

Disallow: /