北京搜索引擎优化(作弊最多怎么处理？主动抓取网页，并进行内容处理)

　　北京搜索引擎优化(作弊最多怎么处理？主动抓取网页，并进行内容处理)

　　搜索引擎主动抓取网页，对内容进行处理，索引的过程和机制大致如下。

　　Step 01、按照一定的策略发送Spider抓取网页回搜索引擎服务器；

　　Step 02、对检索到的网页进行链接提取和内容处理，去噪，提取页面的主题文本内容等；

　　Step 03、对网页文本内容进行中文分词，去除停用词等；

　　Step 04、 对网页内容进行切分后，判断网页内容是否与索引网页重复，去除重复网页，对剩余网页进行倒排索引，然后等待用户取回它。

　　当用户进行查询时，搜索引擎工作的过程机制一般如下。

　　Step 01、对用户查询的关键词进行分词处理，根据用户的地理位置和历史检索特征分析用户需求，以区域搜索结果和个性化搜索结果展示用户最好的你所需要的；

　　Step 02、查看缓存中是否有关键词的查询结果。如果是这样，为了尽快呈现查询结果，搜索引擎会根据当前用户的各种信息来判断真正的需求。微调结果或直接呈现给用户；

　　Step 03、 如果用户查询的关键词在缓存中不存在，则检索索引库中的页面并进行排序，并添加关键词和对应的搜索结果到缓存中；

　　Step 04、网页排名是根据用户的搜索词和搜索需求，通过对索引库中网页的相关性、重要性（链接权重分析）和用户体验进行分析得到。用户在搜索结果中的点击和重复搜索行为也可以告诉搜索引擎，用户对搜索结果页面的体验。这个区域是最近作弊最多的部分，所以这部分会伴随着搜索引擎反作弊算法的介入，有时甚至会进行人工干预。

　　根据上述搜索引擎架构，Spider、内容处理、分词、去重、索引、内容关联、链接分析、判断页面用户体验、反作弊、人工干预等可能涉及整个搜索引擎工作流程。缓存机制、用户需求分析等模块。