学SEO优化就上《SEO自学网》相关内容

　　学SEO优化就上《SEO自学网》相关内容

　　在“SEO自学网站”上学习SEO优化

　　多年前，让网站被搜索引擎选中包括填表、复制网站、手动编辑希望网站被搜索到的关键词。此过程跟随搜索引擎网络因爬虫或网络蜘蛛的出现而发生变化●本文将详细介绍机器人相关内容●

　　什么是搜索引擎蜘蛛？

　　搜索引擎蜘蛛是一个自动程序，它沿着从一个网页到另一个网页的链接抓取互联网，索引内容并将其添加到数据库中㊥●这意味着只要网站㊒来自另一个@k14的链接@搜索引擎已经知道，然后它会随着时间的推移找到它 ● 指向该站点的链接越多，这种情况发生得越快●

　　不幸的是，这些蜘蛛可以非常密集地访问网站。这是因为它们加载每个页面和文件以便对数据库进行编目。爬虫会导致虚拟私有数据库过载，并可能给访问者带来问题●为了帮助解决这些负载问题，㊒一种规范的控制这些爬虫行为的方法是将robots.txt文件放在根目录下的网站㊥●但没什么 强制遵守此项内容●所以，虽然大多数网络搜索引擎爬虫会遵守它，但有些爬虫可能不会●

　　robots.txt 的格式设置，请看下面的例子：

　　用户代理：googlebot

　　禁止：/images

　　允许：/images/metadata

　　抓取延迟：2

　　站点地图：/sitemap.xml

　　按顺序查看每个命令行：

　　首先从“User-agent”这一行开始：robots 或 web 浏览器会使用用户代理来识别自己，各种搜索引擎爬虫都会有自己的用户代理 ●遵循“User-agent”的任何其他说明指令仅对给定的用户代理有效。带有星号 (*) 的用户代理将被视为对用户代理的引用。在例子㉆件㊥中，指令与googlebot搜索引擎蜘蛛程序有关●

　　“Disallow”命令用于告诉搜索引擎蜘蛛关闭不需要加载的目录或文件。 ●有必要虽然搜索引擎蜘蛛不会加载文件，但如果它跟随链接到它们，它仍然会在搜索结果中列出这些项目●因此，它不能用于阻止页面出现在搜索结果中●“ Disallow”可能是所有搜索引擎蜘蛛都支持的唯一命令 ● 因此，在例子㊥中，没有 Allow crawling of /images 目录●

　　“允许”命令可用于指定搜索引擎蜘蛛可以加载的禁止目录的文件或目录。虽然不是所有的搜索引擎蜘蛛都支持这个命令，但大多数蜘蛛都支持。例子㊥，允许蜘蛛加载/images/metadata目录下的文件●

　　㊦一条指令是“crawl-delay”（crawl-delay），Huizhou网站建给出了蜘蛛在加载页面之前等待的秒数 ●这是降低速度的最好方法蜘蛛，虽然你可能不想把数量设置得太高，除非网站只有几页，因为这会大大限制蜘蛛每天可以加载的页面数量●

　　最后还有“sitemap”（网站Map）指令，可以引导蜘蛛到网站的XML网站Map㉆件，也可以用来帮助网站索引●

　　控制搜索引擎蜘蛛

　　在robots.txt㊥中可以填充尽可能多或尽可能少的用户代理，以控制访问站点的方式 ●对于所有蜘蛛，从一个用户代理区域开始，然后添加一个单独的用户代理区域用于指定的蜘蛛 部分是有意义的，因为它们可能会给网站带来问题 ● 创建robots.txt 后，您需要对其进行测试，以确保其有效 ● 如果语法㊥ 有错字或拼写错误，则它可能会导致蜘蛛忽略设置的规则 ● 幸好有很多测试它的工具，还有一些主要的搜索引擎，比如谷歌提供的测试工具 ●