网站进行SEO优化都是希望被搜索引擎所收录..

　　网站进行SEO优化都是希望被搜索引擎所收录..

　　网站的SEO优化都希望被搜索引擎收录使用。就是希望网络蜘蛛能爬到自己的网站里收录信息，吸引蜘蛛爬到自己的网站。对此，佛山网站建建认为我们必须了解蜘蛛爬行的规律。

　　第一步：搜索引擎蜘蛛抓取页面的url，并将页面的url存入数据库。

　　第2步：程序从数据库中提取内容，建立分词索引。

　　第三步：排名程序调用数据库中的索引，计算出内容页面的相关性和权重值，然后按照一定的格式排列在用户搜索页面上。

　　详细介绍这三个步骤：

　　1、搜索引擎也被称为蜘蛛和机器人。当蜘蛛找到一个页面时，服务器会返回该页面的 html 代码。搜索引擎在抓取页面时，通常会先访问网站的robots.txt协议，在网站管理设置的禁止抓取协议明确后，再抓取索引库。

　　2、搜索引擎蜘蛛爬取时间为：定期爬取（取决于每个搜索引擎蜘蛛的更新时间）、增量爬取（在原页面上爬取更多页面）、分类爬取（爬取时间根据不同的类别，例如，每隔几分钟就可以抓取新闻内容。）

　　3、蜘蛛程序对在数据库中爬取的内容进行内容提取和分词构建索引：为了避免搜索引擎蜘蛛的重复爬取，会创建一个数据库来记录页面详细说明每次抓取页面的url、文件大小和创建日期等

　　搜索引擎将抓取的页面存储在数据库中。获取数据库中URL的方法大致有3种：搜索引擎蜘蛛抓取从页面html解析出来的URL，如果没有访问过这些URL，就会被使用。放入要访问的数据库中，然后根据重要性返回爬取更新的资源页面。如果检测到收录已被抓取，则将其删除。手工写的url，以及站长通过表单提交的url，每个url都有一个具体的编号。然后提取每个url对应的页面内容，建立分词相关度的索引。当用户搜索这个词时，程序会根据页面的相关性和页面的权重对页面进行排序。