是否有网站地图是否设置404页面的第三步？

　　是否有网站地图是否设置404页面的第三步？

　　出口链接太多吗？

　　有网站张地图吗？

　　是否设置404页面

　　第3步：预处理（索引编制）

　　

　　搜索引擎将对蜘蛛抓取的网页进行不同的预处理。

　　1.提取文本（删除格式代码，保留文本部分）

　　2.中文分词

　　基于字典匹配，字典匹配相对较低，准确性取决于字典的完整性和更新

　　基于统计信息，分析大量文本样本，并计算单词彼此相邻出现的概率。相邻出现的次数越多，形成单词的可能性就越大

　　这两种方法各有优缺点，通常结合使用。

　　3.停词

　　停止词是那些经常出现在页面上但对内容没有影响的词，例如“的”，“地”，“得”和其他辅助词“ ah”，“ ha”，“呀”诸如“，”等副词或诸如“ therethe”，“ yi”和“ que”之类的介词。这些词称为停用词，因为它们对页面的主要含义没有影响。搜索引擎将在索引页面之前删除这些停用词，以使索引数据的主题更加突出并减少不必要的计算。

　　4.消除噪音

　　大多数页面上的部分内容对页面主题的贡献不大，例如版权声明文本，导航栏，广告等。因此，搜索引擎将在预处理过程中对这些不相关的内容进行去噪处理。

　　5.删除重复

　　同一篇文章文章在不同的网站或同一网站的不同网址上反复出现，搜索引擎不喜欢重复的内容。

　　在索引之前识别并删除重复的内容；重复数据删除方法：选择特征关键词的一部分（通常是最频繁出现的单词），大约10个，然后计算这些单词的数字指纹（MD5算法）；特征关键词如果有微小变化，则计算出的数字指纹之间会有很大的差距。

　　6.正向索引

　　完成上述步骤后，搜索引擎将获得可以反映页面主要内容的独特的，基于单词的内容。接下来，搜索引擎索引处理可以提取关键词，根据分词程序对单词进行划分，将页面转换为一组关键词，并记录每个关键词。格式，位置。这样，每个页面可以记录为一系列关键词集合，并且每个关键词的权重信息（如词频，格式和位置）也将被记录。

　　文件ID内容

　　文件1 关键词 1，关键词 2，关键词 7，关键词 10，……关键词 L

　　文件2 关键词 1，关键词 7，关键词 30，……，关键词 M

　　文件3 关键词 2，关键词 70，关键词 305，……，关键词 N

　　……

　　文件6 关键词 2，关键词 7，关键词 10，……，关键词 X

　　……

　　文件x 关键词 7，关键词 50，关键词 90，关键词 Y

　　7.倒排索引

　　前向索引不能直接用于排名，因为在搜索某个关键词时，排名程序需要扫描索引库中的所有文件并计算相关性。此计算量不能满足排名结果的实时返回。因此，搜索引擎会将前向索引数据库重建为反向索引，并将从文件到关键词的映射转换为从关键词到文件的映射。在倒排索引中，关键词是主要

　　The

　　键，每个关键词对应于一系列文件，并且此关键词出现在这些文件中。这样，当用户搜索某个关键词时，排序程序便将该关键词定位在倒排索引中，并可以立即找到收录该关键词的所有文件。

　　关键词文件

　　关键词 1文件1，文件2，文件7，文件58，...，文件

　　关键词 2文件1，文件7，文件30，...，文件M

　　关键词 3文件2，文件70，文件305，...，文件n

　　…………

　　关键词 7个文件2，文件7，文件10，...，文件x

　　…………

　　关键词 x文件7，文件50，文件90，...，文件x

　　8.链接关系计算

　　连接关系的计算是预存储处理中的重要步骤。主流搜索引擎排名因素都包括网页之间的链接交换信息。必须预先计算页面上的哪些链接指向其他页面，每个页面上哪些导入链接以及该链接使用的锚文本等各种链接计算。

　　特别是百度的链接分析技术，在百度的排名算法中占有非常重要的地位。

　　9.特殊文件处理

　　除了HTML文件之外，搜索引擎通常还可以抓取和索引各种基于文本的文件类型，例如PDF，Word，WPS，XLS，PPT，TXT文件等。我们经常在搜索中看到这些文件类型结果。但是，搜索引擎无法处理图像，视频和Flash等非文本内容，也无法执行脚本和程序。

　　第4步：排名

　　用户在搜索框中输入关键词后，排名程序将调用索引库数据，计算排名并将其显示给用户，排名过程将直接与用户交互。但是，由于搜索引擎中的数据量巨大，尽管每天都可以进行少量更新，但总的来说，搜索引擎的排名规则是基于每天，每周和每月在不同级别上进行的更新。

　　在爬网过程中，具有更多外部链接的页面，其价值越高，排名结果也越高。页面的重要性取决于外部链接的数量，尤其是一些高级外部链接的质量，对于百度而言，尤其是锚文本链接的数量和质量。当然，仍然有很多因素需要考虑。

　　搜索字词处理

　　1.中文分词

　　2.停止字符

　　3.命令处理

　　分词完成后，搜索引擎的默认方法是：关键词之间的“之间的关系”，例如减肥法，分词是“减肥”，“方法”应同时包括“体重”损失”和“方法”。

　　命令：“”：完全匹配，“-”：分词，“-”前的空格表示不收录以下单词

　　4.拼写错误的纠正

　　5.集成

　　搜索名人往往会显示图片和视频，搜索热门话题往往会显示信息等。搜索这些单词很容易触发集成搜索

　　文件匹配

　　倒排索引可快速匹配文件

　　选择初始子集合

　　找到收录关键词的匹配页面后，无法执行相关计算，因为由于页面数量众多，找到的文件达到数亿个，并且对如此多的文件执行了相关计算文件。需要很长时间。

　　实际上，用户不需要知道所有匹配的页面，用户通常只查询前两个页面的内容，也就是说，搜索引擎的前20个结果不需要计算太多的页面相关性，因此只需计算该页面上最重要的部分已足够，因此使用搜索引擎的用户将发现结果页面上仅显示100个结果，而单击下一页只能看到100个页面，即1000个结果页面。

　　百度通常会返回76页的结果

　　因此，搜索引擎只需要计算前1000个结果的相关性，但是搜索引擎不知道哪个1000个最相关，因此最终的相关性计算是通过页面子集合和-采集必须依赖于其他特征而不是相关性，因为匹配已经具有最基本的相关性，所以子集合的数量可能会或多或少，并且外部人不会知道，因此只有页面权重最高的子集合将被选择来计算其相关性。

　　

　　相关性计算

　　影响相关性计算的主要因素如下：

　　1) 关键词常用程度，较不常用的词对搜索词有帮助。

　　2)词频和密度

　　3) 关键词的位置和形式。

　　4) 关键词距离（匹配度）

　　5)链接分析和页面权重除了页面本身之*敏*感*词*文本。

　　网站内的SEO

　　1. 关键词研究

　　为什么要学习关键词？

　　1.确保目标关键词被某人搜索

　　2.降低优化难度

　　3.查找有效流量

　　4.搜索多样性

　　5.发现新机会

　　1）选择关键词

　　相关内容，很多搜索，低竞争，不太广泛（旅游）和不太特别（公司名称）以至于无法找到平衡点

　　百度下拉框（以及相关搜索位于底部）

　　收录金额（标题：）（比赛越多，比赛越激烈）

　　百度索引

　　竞争对手网站的关键词

　　内页排名情况

　　百度竞价

　　工具：

　　网站站长工具关键词分析

　　百度2工具

　　2） 关键词布局

　　1.每页收录三个关键词

　　2.避免内部竞争，无法重复第关键词页

　　3. 关键词以金字塔的形式分布在网站内部

　　2.结构优化

　　搜索引擎友好的网站结构的三个要求

　　（[1)可以找到目标网页

　　必须有一个指向网站主页的外部链接，以便搜索引擎可以找到我们的网站并对其进行爬网，然后蜘蛛程序将沿着该页面的内部链接对较深的内容页面进行爬网，从而可以轻松检查网站进行遍历爬取的内容。

　　（[2)可以抓取Web内容

　　该网页的内容符合搜索引擎蜘蛛的爬网条件。搜索引擎蜘蛛发现的URL必须是可爬网的。最小化URL中的参数以避免蜘蛛陷阱。

　　（[3)可以提取有价值的信息

　　网站内容必须是有价值的（用于构建高质量页面的四个硬指标）-不要窃，提高文章的质量，搜索引擎可以从抓取的页面中提取有价值的内容。

　　对搜索引擎友好

　　域名，服务器，robots.txt，nofollow，404页，301永久重定向，网站地图，清晰的导航，URL设计，图片替代说明，简化代码，复制内容，蜘蛛陷阱（闪存，会话ID，各种跳转，框架结构，动态url，javascript链接，需要登录，Cookie的强制使用）

　　一页仅对应一个网址，以防止重量分散

　　网站结构：物理结构，逻辑结构

　　物理结构：平面物理结构和树形物理结构。合理使用这两种结构有利于体重转移

　　扁平的物理结构：所有网页都存储在网站的根目录中，该目录是最友好的，但仅适用于小型企业站点，如下所示：

　　（XXX）.com / index.html

　　（XXX）.com / wenzhang 1. html

　　（XXX）.com / wenzhang 2. html

　　（XXX）.com / wenzhang 3. html

　　树形物理结构：对于较大的网站，通常需要两到三个或更多级别的子目录才能确保网页的正常存储。

　　如下：

　　（XXX）.com / index.html

　　（XXX）.com / lanmu1 /

　　（XXX）.com / lanmu1 / wenzhang 1. html

　　网站的逻辑结构也称为链接结构，它主要是指由网页内部链接形成的逻辑结构。逻辑结构和物理结构之间的区别在于，逻辑结构由网站页的相互链接关系确定，而物理结构由网站页的物理存储位置确定

　　决定。

　　在网站的逻辑结构中，“链接深度”通常用于描述页面之间的逻辑关系。 “链接深度”是指从源页面到目标页面的路径数量。例如，在网站页面A中，有一个到目标页面B的链接，从页面A到页面B的链接深度为1。

　　类似于物理结构，网站的逻辑结构也可以分为两种类型：扁平和树：扁平逻辑结构：具有扁平逻辑结构的网站实际上是网站中的任意两个页面相互链接，即网站中的任何页面都收录到所有其他页面的链接，并且网页之间的链接深度为1。

　　在当前网络上，几乎没有纯逻辑结构作为整体站点结构网站。

　　关键词设置技巧

　　关键词位置，密度，处理过程

　　关键词（英语）出现在网址中

　　关键词出现在页面标题中

　　关键词出现在关键词标签中

　　关键词出现在说明标签中（主关键词重复2次）

　　关键词自然出现在内容中

　　关键词（自然合理）出现在内容的第一和最后几段

　　关键词出现在H1，H2等标签中。

　　导出链接的锚文本收录关键词

　　图片的文件名收录关键词

　　关键词出现在ALT属性中

　　关键词密度3-8％

　　粗体或斜体关键词

　　内容质量，更新频率，相关性

　　原创的内容最好，请避免重复打印多次的内容

　　内容独立性，与其他页面至少有30％的差异

　　合理的细分（多个细分，较短的细分）

　　定期更新，最好每天更新

　　内容散布在页面上关键词，并导入与整个网站主题相关的链接和锚文本

　　导入高权重站点的链接

　　导入内容相关页面的链接

　　将链接锚文本导入页面关键词

　　网络内容中存在锚文本

　　相关关键词出现在锚文本周围

　　导入链接所在的页面上少于100个导出链接

　　导入来自不同IP地址的链接

　　简介链接自然增加

　　锚文本多样化