搜索引擎通过自动检索的方式分析网页的超链接和代码分析

　　搜索引擎通过自动检索的方式分析网页的超链接和代码分析

　　第 1 节搜索引擎原理

　　1、基本概念

　　来自中文维基百科的解释：（互联网）搜索引擎是指自动从互联网上采集信息，并经过一定的排序，为用户提供查询的系统。

　　来自英文维基百科的解释：网络搜索引擎提供了一个界面来搜索万维网上的信息。信息可能包括网页、图像和其他类型的文件。 （网络搜索引擎提供了一个界面，可以在万维网上搜索信息。信息内容，包括网页、图片和其他类型的文档）

　　2、Classification

　　根据工作原理的不同，可以分为两个基本类别：全文搜索引擎和目录）。

　　分类是人工采集整理网站数据形成数据库，如雅虎中国和国内搜狐、新浪、网易的目录。此外，互联网上的一些导航网站也可以归入原创分类目录，例如“网站之家”()。

　　全文搜索引擎以自动方式分析网页的超链接，依靠超链接和HTML代码的分析来获取网页的信息内容，并根据预先设计的规则对其进行分析和组织形成索引供用户查询。

　　两者的区别可以用一句话概括：分类目录由网站手动索引，全文搜索由网页自动索引。 （有些人经常将搜索引擎与数据库搜索进行比较，但实际上他们错了）。

　　3、全文搜索的工作原理

　　全文搜索引擎通用信息采集、索引、搜索三部分，详细信息可以由五部分组成：搜索器、分析器、索引器、搜索器和用户界面

　　(1）信息采集(Webcrawling)：information采集的工作由搜索者和分析者共同完成。搜索引擎使用爬虫、蜘蛛或网络机器人。(机器人)自动搜索机器人程序进行查询网页上的超链接。

　　进一步解释：“机器人”实际上是一些基于网络的程序。他们通过请求网站上的 HTML 页面来响应采集HTML 页面。它遍历指定范围内的整个Web空间，并从一个网页继续。转到另一个网页，从一个站点移动到另一个站点，将网页采集 添加到网页数据库中。 “机器人”每次遇到一个新的网页，都要搜索里面的所有链接，所以理论上来说，如果为“机器人”建立了一个合适的初始页面集，从这个初始页面集开始，所有的链接都是穿越，“机器人”将能够采集到达整个网络空间的网页。

　　互联网上很多开源爬虫程序都可以在一些开源社区找到。

　　关键点1：核心在于html分析，所以严谨、结构化、可读、无错误的html代码更容易被采集Robot和采集分析。比如某个页面有这样的结尾，在页面上显示不是问题，但是很可能被采集收录拒绝，比如在.. /../***.htm ，也可能导致蜘蛛无法识别。这也是需要推广Web标准的原因之一。按照网络标准制作的网页更容易被搜索引擎和收录检索到。

　　关键点2：搜索机器人有专门的搜索链接库。搜索同一个超链接时，会自动比较新旧网页的内容和大小。如果它们相同，则它们不会是采集。所以有人担心修改后的网页能不能收录，这是多余的。

　　(2）Indexing)：搜索引擎组织信息的过程称为“索引”。搜索引擎不仅要保存采集到的信息，还要按照一定的规则进行排列。索引可以使用一般的大型数据库如ORACLE、Sybase等，也可以存储为自己定义的文件格式。索引是搜索中比较复杂的部分，涉及到网页结构分析、分词、排序等技术。一个好的索引可以大大提高搜索速度。

　　关键点1：虽然目前的搜索引擎支持增量索引，但创建索引仍然需要很长时间。搜索引擎会定期更新索引，所以即使爬虫来了，我们也可以在页面上搜索，会有一定的时间间隔。

　　关键点 2：索引是区分好搜索和坏搜索的重要标志。

　　(3）Searching(Searching)：用户向搜索引擎发送查询，搜索引擎接受查询并将信息返回给用户。有些系统在返回结果之前会计算和评估网页的相关性，并根据相关度按相关度排序，将相关度高的放在前，相关度低的放在后面；有些系统在用户查询之前已经计算了每个页面的页面排名（PageRank会在后面介绍） )，并将查询结果返回给页面，排名靠前的放在前面，排名靠后的放在后面。

　　关键点1：不同的搜索引擎有不同的排序规则，所以如果在不同的搜索引擎中搜索相同的关键词，排序是不同的。

　　第二节百度搜索引擎的工作原理

　　我所知道的百度搜索：由于工作原因，小生有幸一直在使用百度的Bestcom企业搜索引擎（这个部门现在已经下岗了，主要是因为百度的战略已经开始向谷歌靠拢，不再卖了搜索引擎分开，转向搜索服务）。据百度销售人员介绍，Besttone的搜索核心与Big Search相同，只是版本可能略低，所以我有理由相信搜索的工作原理类似。以下是一些简单的介绍和注意事项：

　　1、关于网站搜索更新频率

　　百度搜索可以设置网站的更新频率和时间。一般big网站的更新频率是很快的，会设置独立的爬虫进行跟踪，但是百度比较勤快，中小网站一般每天更新一次。所以，如果你想让你的网站更新更快，最好把你的链接放在一个大分类目录（比如yahoosina网易），或者百度自己的相关网站，你网站的超链接在或者你的网站在一些大网站，比如大网站的博客。

　　2、关于采集的深度

　　百度搜索可以定义采集的深度，也就是说百度不一定会检索到你所有的网站内容。它可能只会索引你的网站主页的内容，尤其是对于小网站。

　　3、About 采集经常无法与网站交流

　　百度对网站的连接和断开有特殊的判断。如果发现某个网站没有连接上，尤其是一些中小网站，百度会自动停止向这些网站发送爬虫，所以选择一个好的服务器很重要，留住网站 24 小时营业。

　　4、网站关于更换IP

　　百度搜索可以基于域名或IP地址。如果是域名，会自动解析为对应的ip地址。因此，会有两个问题。第一，如果你的网站和别人使用相同的IP地址，如果别人的网站被百度处罚，你的网站就会受到牵连。二是如果你换了ip地址，百度会发现你的域名和之前的ip地址不对应，拒绝去找你。 网站 派遣了一个爬虫。所以建议不要随意更改ip地址。如果可能，尽量单独享受ip。保持网站的稳定很重要。

　　5、关于静态和动态网站采集

　　很多人担心像asp?id=这样的页面是不是很难采集，像html这样的页面容易采集。事实上，情况并没有想象的那么糟糕。现在大部分搜索引擎都支持动态网站的采集和搜索，包括需要登录的网站都可以搜索到，不用担心自己的动态网站不被识别搜索引擎。可以自定义百度搜索中的动态支持。但是，如果可能，请尝试生成静态页面。同时，对于大多数搜索引擎来说，脚本跳转（JS）、框架（frame）、

　　Flash 超链接，动态页面中含有非法字符的页面无能为力。

　　6、关于索引的消失

　　如前所述，需要创建搜索索引。通常，对于良好的搜索，索引是文本文件，而不是数据库。因此，删除索引中的记录并不是一件方便的事情。例如，百度需要使用特殊工具手动删除索引记录。据百度员工介绍，百度有一群人负责这件事——受理投诉、删除记录、人工。当然也可以直接删除某个规则下的所有索引，即可以删除某个网站下的所有索引。还有一个机制（未验证），即在索引过程中也会删除过期网页和作弊网页（主要是网页标题、关键词和内容不匹配）。

　　7、关于重复数据删除

　　百度搜索的去重不如谷歌的理想。主要是区分文章的标题和来源地址。只要不一样，就不会自动去重，所以不用担心采集的内容一样，被快速搜索惩罚，谷歌不一样，用的人不多同一个标题同时是收录。

　　此外，不要认为搜索引擎很聪明。基本上，它们遵循一定的规则和公式。如果你不想被搜索引擎惩罚，就避开这些规则。

　　第 3 节 Google 搜索排名技术

　　搜索方面，谷歌优于百度。主要原因是谷歌更公平。百度人为因素很多（也符合我国国情）。 Google 的公平性来自其排名技术 PageRank。

　　很多人都知道PageRank，这是网站的质量等级。 网站 越小越好。事实上，PageRank 是通过一个特殊的公式计算出来的。当我们在 Google 上搜索关键词 时，页面排名较低的页面排名会更高。这个公式不涉及人为干预，所以是公平的。

　　PageRank的最初想法来自纸质档案的管理。我们知道每篇论文最后都有参考文献。如果某个文章被不同论文多次引用，可以认为这个文章是优秀的。 文章。

　　同样，简而言之，PageRank 可以对网页的重要性做出客观的评估。 PageRank 不计算直接链接的数量，而是将网页 A 到网页 B 的链接解释为网页 A 到网页 B 的投票。这样，PageRank 将根据收到的投票数来评估该页面的重要性B页面。此外，PageRank还会评估每个投票页面的重要性，因为某些页面的投票被认为具有更高的价值，因此它所链接的页面可以获得更高的价值。

　　这里省略了Page Rank的公式，说说影响Page Rank的主要因素

　　1、 指向你的网站的超链接数量（你的网站被别人引用了）。值越大，您的网站 就越重要。通俗的说就是其他网站无论是友情链接，还是你的网站的推荐链接；

　　2、超LINK 你的网站的重要性，说明质量好的网站有你的网站超链接，说明你的网站也很优秀。

　　3、网页特定因素：包括网页的内容、标题和网址，即网页的关键词和位置。

　　第4节新网站如何处理搜索

　　以下是对以上分析的总结：

　　1、搜索引擎为什么不是收录你的网站，有以下几种可能（不是绝对的，要看各自情况）

　　（1）没有任何岛屿网页链接，收录网站也没有超链接给你，搜索引擎将无法找到你；

　　（2）网站网页性质和文件类型（如flash、JS跳转、一些动态网页、frame等）搜索引擎无法识别；

　　(3）你的网站是服务器被搜索引擎惩罚的地方，而不是收录同一IP内容；

　　（4）最近更改了服务器的IP地址，搜索引擎需要一段时间重新采集；

　　（5）服务器不稳定，频繁宕机，或者无法承受采集的爬取压力；

　　（6）网页代码劣质，搜索无法正确解析页面内容，请至少学习HTML的基本语法，建议使用XHTML；

　　（7）网站使用robots（robots.txt）协议拒绝搜索引擎抓取的网页；

　　（8）使用关键词作弊网页，该网页的关键词与内容严重不符，或者某些关键词过于密集；

　　（9）page 含有非法内容；

　　(10）同网站有大量同名网页，或者网页标题没有实际意义；

　　2、新站怎么做（仅供参考）

　　（1）和优秀的网站交流链接；

　　(2）Widely 登录各种网站网站目录列表；

　　（3）去质量好的论坛多说，演讲质量要好，最好不要回复。在演讲中留下你的网站地址；

　　（4）应用大网站的博客（新浪、网易、CSDN），并在博客中宣传自己的网站；

　　（5）使用好的建站程序，最好生成静态页面，自动生成关键词；

　　（6）注意每个网页的标题和区域，尽量把匹配的关键词放在这些容易被搜索和索引的位置，注意文章的开头，并尝试从文章开头的一些使用类似abstracts的功能开始（可以学习网易的文章风格）。

　　例如，“基于开源 jabber (XMPP) 构建内部即时通讯服务的解决方案”；

　　标题部分：一种基于开源jabber（XMPP）构建内部即时通讯服务的解决方案-肥龙（消耗品）专栏-CSDNBlog

　　关键词Part：安装，">

　　文章Description 部分：是知名的即时通讯服务服务器。它是一个免费的开源软件，允许用户建立自己的即时通讯服务器，可以在互联网或局域网中使用。

　　XMPP（可扩展消息处理现场协议）是一种基于可扩展标记语言（XML）的协议，用于即时通讯（IM）和在线现场检测。正在推广服务器

　　中间的准实时操作。该协议最终可能允许 Internet 用户向 Internet 上的任何其他人发送即时消息，即使他们的操作系统和浏览器不同。 XMPP的技术来源于

　　对于Jabber来说，它其实是Jabber的核心协议，所以XMPP有时会被误称为Jabber协议。 Jabber 是一个基于 XMPP 协议的 IM 应用程序。除了 Jabber，XMPP 还支持很多应用。