搜索引擎进行信息检索的优化策略方法(世界上第一个Spider程序，你知道几个？（上）)

　　搜索引擎进行信息检索的优化策略方法(世界上第一个Spider程序，你知道几个？（上）)

　　一、搜索引擎技术背景

　　搜索引擎是指按照一定的策略从互联网上采集信息，并使用特定的计算机程序，对信息进行组织和处理，为用户提供检索服务，并向用户展示与用户检索相关的相关信息的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合搜索引擎、门户搜索引擎和免费链接列表等。百度和谷歌是搜索引擎的代表

　　搜索引擎出现的背景在互联网发展初期相对较少网站，找新闻比较容易。但是，随着新闻技术的飞速发展，尤其是互联网应用的迅速普及，网站越来越多，全球互联网网页数量每天都在以千万级的速度增长。在庞大的新闻网络中找到您需要的材料无异于大海捞针。这时，搜索网站应运而生，满足大家的新闻检索需求。

　　搜索引擎从诞生到发展大概经历了以下四个步骤：

　　（1)Archie Archie 的出现已经具备了现代搜索引擎的雏形。1990 年，加拿大蒙特利尔大学 Ellen Imijé 等三位学生在搜索文档时感到非常不方便。当时，他们需要分散在各个地方。为了在FIP主机中搜索，于是他们三人萌生了按文件名查找文件的想法。经过精心设计，他们终于开发了Archie程序。Archie是第一个自动搜索的用于互联网上匿名FTP网站文件的程序。Archie是一个可搜索的FTP文件标题列表，当用户输入准确的文件标题时，Archie会告诉用户哪个FTP地址可以下载文件。Archie不是一个真正的搜索引擎，但是实现了自动索引匿名FIP网站的技术互联网上的文件无疑是搜索引擎技术发展的第一步。

　　原理是，既然所有网页都可能有其他网站的链接，那么就按照一个网站链接开始，优化。可以检索整个 Internet。到1993年底，一些基于这一原理的搜索引擎开始出现，其中以Jumpstinsideion、TheWorldWideWebWorm（Goto的前身，也就是今天的Overture）和Repository-BasedSoftware Engineering（RBSE）最为负盛名。但是Jumpstinsideion和wwwwo只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，所以根本没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。然后按照网站 链接启动，优化。可以检索整个 Internet。到1993年底，一些基于这一原理的搜索引擎开始出现，其中以Jumpstinsideion、TheWorldWideWebWorm（Goto的前身，也就是今天的Overture）和Repository-BasedSoftware Engineering（RBSE）最为负盛名。但是Jumpstinsideion和wwwwo只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，所以根本没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。然后按照网站 链接启动，优化。可以检索整个 Internet。到1993年底，一些基于这一原理的搜索引擎开始出现，其中以Jumpstinsideion、TheWorldWideWebWorm（Goto的前身，也就是今天的Overture）和Repository-BasedSoftware Engineering（RBSE）最为负盛名。但是Jumpstinsideion和wwwwo只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，所以根本没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。一些基于这个原理的搜索引擎开始出现，其中以Jumpstinsideion、TheWorldWideWebWorm（Goto的前身，也就是今天的Overture）和Repository-BasedSoftware Engineering（RBSE）最为负盛名。但是Jumpstinsideion和wwwwo只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，所以根本没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。一些基于这个原理的搜索引擎开始出现，其中以Jumpstinsideion、TheWorldWideWebWorm（Goto的前身，也就是今天的Overture）和Repository-BasedSoftware Engineering（RBSE）最为负盛名。但是Jumpstinsideion和wwwwo只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，所以根本没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。Jumpstinsideion 和 wwwwo 只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，因此完全没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。Jumpstinsideion 和 wwwwo 只是按照搜索工具在数据库中找到匹配新闻的顺序对搜索结果进行排名，因此完全没有新闻相关性。而RBSE是第一个索引HTML文件正文的搜索引擎，是第一个在搜索结果排名中引入关键字字符串匹配度概念的引擎。

　　它遵循了雅虎的概念！和 Lycos ，并没有独特的创新。但其友好的用户界面和大量的附加服务使其名声大噪。

　　随着 Lycos 和 Infoseek 在互联网上的出现，有人把这个时期称为搜索引擎的春天。从那时起，使用这两种技术的搜索引擎如雨后春笋般涌现。从此，搜索引擎进入了高速发展时期。

　　搜索引擎优化。搜狐和新浪使用它的技术。所以从这个意义上说，百度搜索引擎优化。他们是搜索引擎的搜索引擎。

　　

　　二、 搜索引擎技术可以解决的问题

　　1、搜索引擎的主要功能和工作机制

　　搜索引擎是互联网上的一个网站。它的主要任务是主动搜索互联网上的Web服务器信息并自动建立索引，其索引内容存储在可查询的大型数据库中。当用户输入一个关键字（Keyword）进行查询时，网站会告诉用户所有收录该关键字信息的URL，并提供一个到网站的链接。对于各种搜索引擎，它们的工作流程基本相同，包括以下三个方面：

　　（1) 发送“网页搜索程序”，搜索互联网上的所有信息并带回搜索引擎；

　　（2)对信息进行排序，建立搜索引擎数据库；

　　(3)通过Web服务器端软件，为用户提供浏览器界面下的信息查询。

　　2、优秀搜索引擎的基本特征

　　目前，中西搜索有10多种以上。比较有名的搜索引擎是雅虎

　　,

　　图1 搜索引擎*敏*感*词*

　　激动，InfoSeek。一个优秀的搜索引擎应该有Lycos、ltaVista等。以下特点：（1)支持全文搜索（FullTextSearch）。全文搜索引擎的优点是查询全面、充分，并且用户可以查看每个网站文章词搜索的每篇文章，当全文搜索引擎遇到网站时，会检索所有文章 网站 并收录在引擎的数据库中。用户输入的查询的“关键字”出现在引擎库文章的某篇文章中，那么这个文章会被返回给用户作为匹配结果。

　　（2)支持目录分类结构（Directory）。分类搜索引擎的优点是系统地对信息进行分类。遇到网站时，它不像全文搜索引擎。把所有的文章和网站的信息变成了收录，但是先把网站归入某一类，然后记录一些汇总信息。@网站给出一个概述和简要说明简介. 最具代表性的目录搜索引擎是Yahoo网站。

　　（3) 可以区分搜索结果的相关性（Pertinency）。搜索引擎应该能够找到与搜索需求相对应的站点，并根据它们的相关性对搜索结果进行排序。

　　（4)搜索方式多样，搜索方式齐全。

　　（5) 其他性能。一个优秀的搜索引擎产品还必须具备快速的查询速度、良好的可维护性和更新性能。现有的搜索引擎在信息维护、信息重复、网络和站点负载方面还是有很多的缺点，索引数据库往往很大，检索准确率不高。

　　现有搜索引擎的缺陷：

　　(1) 操作符合有限数量的布尔运算组合；

　　（2)只用关键词提问，而关键词检索不能完全满足用户要求，是盲匹配；

　　（3) 无法检索历史信息；

　　（4) 简单的结果表达方式让用户看起来很迷茫；

　　（5) 单个引擎的限制。

　　3、搜索引擎的语法规则

　　如果要获得最佳搜索结果，必须使用基本搜索语法来组织搜索条件。

　　（1) 使用逻辑运算符。搜索引擎中常用的运算符有：AND、OR、NOT、AND，表示逻辑“与”可以用“&”表示，OR表示逻辑“或”可以表示为"" , NOT 表示逻辑“非”可以用“！”表示。

　　（2) 使用“+、-”连接号和通配符。

　　4、搜索引擎研究的主要问题

　　由于现有搜索引擎存在诸多不足，搜索引擎仍是网络和信息检索领域的研究热点。目前主要的研究热点有：

　　（1) 一种能够充分表达用户查询需求的查询语言。一套能够在不增加网络负载的情况下充分表达用户需求的查询语言，是搜索给用户的第一好印象。

　　（2)索引数据库的组织与管理。如何对大容量、非结构化信息进行增删改查也是一个值得研究的问题。

　　（3)信息的自动处理。如何对信息进行准确的分类索引是搜索引擎需要研究的主要问题。

　　（4) 提高检索准确率。现在搜索引擎的问题不再是能找到多少文档，很多文档不一定和用户需求很相关。因此，提高搜索准确率是主要的搜索引擎搜索效率的原因。反映。

　　（5)网络信息发现。如何快速发现和搜索互联网上新增和删除的信息。

　　三、搜索引擎技术概述

　　经过几年的发展和探索，搜索引擎越来越贴近人们的需求，搜索引擎的技术也得到了很大的发展。搜索引擎的最新技术发展包括以下几个方面：

　　（1）提高搜索引擎对用户检索问题的理解

　　为了提高搜索引擎对用户搜索问题的理解，需要有一个好的搜索问题语言。为了克服关键词搜索和目录查询的缺点，现在出现了自然语言智能回答。用户可以输入一个简单的问句，例如“如何杀死计算机病毒？”。搜索引擎分析问题的结构和内容后，要么直接给出问题的答案，要么引导用户从多个可选择的问题中进行选择。自然语言的优点在于，一是让网络交流更人性化，二是让查询更方便、直接、有效。拿上面的例子来说，如果用关键词来搜索，大部分人都会用“病毒”这个词来搜索，并且结果难免会包括各种病毒的引入，病毒是如何产生的，以及其他很多无效的信息。, 并使用“如何杀计算机病毒？”，搜索引擎会为用户提供杀毒信息，提高检索效率。

　　(2）处理搜索结果

　　1、基于链接评价的搜索引擎

　　基于链接评价的搜索引擎的优秀代表是谷歌。它最初的“链接评估系统”是基于这样一种认识，即一个网页的重要性取决于到其他网页的链接数，尤其是一些已经被认定为“重要”页面的链接数。这个评价体系与“科技引文索引”的思路非常相似，但由于互联网是在商业环境中发展起来的，一个网站的链接数也与其商业推广密切相关，因此，这种评价体系在一定程度上缺乏客观性。

　　2、基于对流行搜索引擎的访问

　　基于访问人气的搜索引擎的代表是直接命中，其基本思想是大多数人选择访问的网站是最重要的网站。根据搜索结果中上千网民实际选择和访问的网站以及他们在这些网站上花费的时间，确定网站的重要性排名，并以此为依据确定哪个 网站 最能满足用户的搜索需求。因此，它具有典型的拥挤特征。这种评价体系与基于链接评价的搜索引擎有着同样的缺点。

　　3、去除搜索结果附加的冗余信息

　　一项调查指出，过多的附加信息增加了用户的负担。为了去除这些多余的附加信息，可以使用用户定制和内容过滤等检索技术。

　　(3）确定搜索引擎信息采集范围

　　1、垂直话题搜索引擎

　　互联网上的信息海量，网络资源以十倍的速度增长。搜索引擎很难采集所有主题的网络信息。即使对信息主题进行全面采集，由于主题范围广泛，也很难做到所有主题都准确准确。也是专业的，这让搜索结果太垃圾了。这样，垂直主题搜索引擎以其高度的针对性和专业性在各种搜索引擎中占据了一定的位置。比如股票、天气、新闻等搜索引擎，具有高度的针对性。, 用户对查询结果比较满意。笔者认为，垂直题材有很大的发展空间。

　　2、搜索非www信息

　　提供FTP等信息检索

　　3、多媒体搜索引擎

　　多媒体检索主要包括对声音、图像和视频的检索。关于图像搜索引擎的原理，《浅谈图像搜索引擎的实现》提出了具有跨时代意义的设计思路。

　　(4） 提供更优化的搜索结果

　　1、纯搜索引擎

　　这类搜索引擎没有自己的信息采集系统。它利用他人现有的索引数据库，侧重于检索的概念、技术和机制。

　　2、元搜索引擎

　　现在出现了很多搜索引擎，信息采集的范围、搜索机制、算法等各不相同，用户不得不学习多个搜索引擎的用法。平均每个搜索引擎只能涉及整个www资源（搜索引擎观察数据）的30-50%，导致同一搜索请求在不同搜索引擎获得的查询结果重复率不到34%，而每次搜索引擎的准确率都低于45%。

　　元搜索引擎（metasearch engineing）是对用户向多个独立搜索引擎提交的搜索请求进行搜索，并对搜索结果进行统一处理，并以统一格式提供给用户。因此，在搜索引擎之上存在搜索引擎之一。说。其主要着眼于提高搜索速度、搜索结果智能处理、个性化搜索功能设置以及搜索界面的人性化，具有较高的召回率和准确率。目前比较成功的元搜索引擎有metacrawler、dopile、ixquick、sooke。

　　3、集成搜索引擎

　　综合搜索引擎（All-in-One Search Page），又称“多引擎同步检索系统”（如百度），是在一个WWW页面上链接多个独立的搜索引擎，需要点击或指定搜索搜索引擎，一个搜索输入，多个引擎同时搜索，使用起来非常方便。

　　综合搜索引擎没有自建数据库，不需要研发支撑技术，当然也无法控制和优化搜索结果。但是集成搜索引擎制作维护技术简单，链接的搜索引擎可以随时添加、删除、调整和更新，尤其是大型专业（如FLASH、MP3等）搜索引擎集成链接，受到特定用户群体的欢迎。

　　4、垂直搜索引擎

　　垂直搜索引擎是一般搜索引擎提出的一种新的搜索引擎服务模式，具有信息量大、查询不准确、深度不足等特点，通过针对特定领域、特定人群或特定人群提供一定程度的服务。具体需求。价值信息和相关服务。其特点是“专、精、深”，具有行业色彩。与一般搜索引擎杂乱无章的海量信息相比，垂直搜索引擎显得更加专注、具体和深入。

　　个性化趋势是搜索引擎未来发展的重要特征和必然趋势之一。一种方式是通过搜索引擎的社区化产品（即为注册用户提供服务）来组织个人信息，然后将个人因素引入搜索引擎基础信息库进行分析，得到针对个人的不同搜索结果。自2004年10月雅虎推出myweb测试版，到11月a9推出个性化功能，谷歌搜索历史基本沿袭2005年的轨迹，分析特定用户搜索需求的有限范围，然后将范围扩大到网上其他类似的网站给出了最相关的结果。另一种是为了普及，谷歌个性化搜索引擎，或者 yahooMindSet，或者 vivisimo，我们都知道前端集群。但无论实施其中的哪一个，即谷歌主动选择搜索范围，或者雅虎、vivisimo在结果中对自己需要的信息进行重组，都是实验或创意，不会成为主流搜索引擎在短期内。应用产品。

　　走进一家网吧，不难发现，在每个网吧的电脑浏览器的首页或工具栏中，都会有一个谷歌或百度的标志。百度甚至推出了网吧联盟，可见搜索引擎尤其受到网吧行业的青睐。现在我们常用的搜索引擎无非是百度和谷歌。从百度的角度来看，百度联盟可以说是唯一一个可以覆盖所有网吧，并与几乎所有主流网吧软件建立合作伙伴关系的媒体运营平台。而谷歌也不甘示弱，谷歌已经注意到了网吧市场，网吧成为了谷歌的新型合作伙伴。谷歌标志会出现在网吧首页和工具栏上，这将相应地为谷歌带来流量。谷歌对网吧市场的关注表明，谷歌已经注意到网吧是中国互联网市场的特征之一。由于我国的PC数量远远落后于美国等西方国家，网吧作为网民上网主要场所的比例逐年上升，我国网吧的比例是比较高的。根据CNNIC第20次中国互联网发展统计报告，超过1/3（37.2%）的网民表示经常去网吧上网，而32.3% 2006 年 12 月 高出 5 个百分点，

　　网站的命脉是流量，而网站的流量可以分为两类。一种是自然流量，另一种是来自搜索引擎的流量。如果搜索引擎能够越来越有效地抓取网站的内容，那对网站来说是好事

　　处处是不言而喻的。因此，SEO也应运而生。

　　在百度和谷歌两大搜索引擎的工作中，百度的工作周期相对较短。百度10天左右回访一次网站，谷歌15天左右回访一次网站。由于你不可能在一天内走遍全球所有网站，如果你推广网站，你可以去更多的网站并提交相应的网站信息，即另外加速蜘蛛收录网站也是内容的重要组成部分。

　　搜索引擎营销可以分为四个层次，可以简单地描述为：存在层次、呈现层次、关注层次和转化层次。第一层是搜索引擎营销的现有层。它的目标是有机会成为收录 在主搜索引擎/类别目录中。这是搜索引擎营销的基础。离开这个层面，搜索引擎营销的其他目标是不可能实现的。第二层的目标是在搜索引擎收录的基础上，尽可能得到好的排名，也就是在搜索结果中有很好的表现，所以可以称之为性能层.

　　搜索引擎营销的第三个目标直接用网站流量指标来表达，即通过提高搜索结果的点击率来达到增加网站流量的目的。由于用户选择的信息只有在被用户关注时才能被点击，因此可以称为关注层。

　　搜索引擎营销的第四个目标，即通过流量的增加，公司最终实现收入的增加，可以称为转化层。转换层是对前面三个目标层次的进一步改进。它是各种搜索引擎方式所达到的效果的集中体现，但并不是搜索引擎营销的直接效果。

　　搜索引擎是网站建设过程中“方便用户使用网站”的必备功能，也是“研究网站用户行为的有效工具”。高效的网站搜索让用户快速准确地找到目标信息，从而更有效地促进产品/服务的销售，并通过深入分析网站访问者的搜索行为，有助于进一步发展更多有效的在线营销策略具有重要价值。

　　1、 从网络营销环境来看，搜索引擎营销环境的发展对网络营销的推广起着举足轻重的作用；

　　2、从效果营销的角度来看，很多企业之所以能够应用网络营销，是因为使用了搜索引擎营销；

　　3、从一个完整的电子商务概念的组成部分来看，网络营销是最重要的组成部分，也是向终端客户传递信息的重要组成部分。

　　在搜索引擎发展初期，大多作为技术提供商为其他网站提供搜索服务，网站为搜索引擎付费。后来，随着2001年互联网泡沫的破灭，他们大多转向了竞价排名法。

　　目前搜索引擎的主流商业模式（百度的竞价排名，谷歌的AdWords）是在搜索结果页面投放广告，通过用户点击向广告主收费。这个模型首先由比尔格罗斯提出。他于1998年6月创立（后于2001年9月更名为Overture），实施了该模式，取得了巨大成功，并申请了专利。这个模型有两个特点。一种是按点击付费。如果用户没有点击，广告商就不必付费。二是竞价排名，根据广告主支付多少对结果进行排名。2001 年 10 月，Google 推出了 AdWords，同样使用按点击付费和出价方式。2002 年，Overture 起诉谷歌侵犯其专利。2004 年 8 月，与 Yahoo! （雅虎！

　　AdSense 是 Google 于 2003 年推出的一种新广告方式。AdSense 使各种规模的第三方网络发布商能够进入 Google 庞大的广告商网络。Google 会在这些第三方网页上投放与网页内容相关的广告。当浏览者点击这些广告时，网页发布者可以获得收入。AdSense 在博主中非常受欢迎。与此同时，谷歌随意删除了一些账号，引起了一些人的不满。其他搜索引擎也推出了类似的广告方式。雅虎的广告方式是YPN（雅虎出版商网络）。除了在网页上显示与内容相关的广告外，YPN 还可以在 RSS 订阅中显示广告。Microsoft 的广告计划称为 AdCenter。百度也推出了主题推广。

　　四、经验

　　在传统的网站品类目录搜索中，新浪、网易、搜狐各有各的惊喜。新浪依托自身良好的技术实力和新闻优势，推出了全面搜索，为用户省去了搜索不同类别的麻烦。只需输入您要搜索的关键词，即可获得网站、网页、新闻和产品。此类常用信息条理清晰，一目了然，在保持快速准确的基础上为用户提供更多选择。

　　网易利用其良好的网络蠕虫资源和网络的力量，将人们聚集起来，创建了一个开放的目录。网络上的各界专家纷纷加入，让网易的网站目录一天比一天好。网易还进一步挖掘了搜索引擎的潜力，推出了通过手机短信发送搜索结果的功能。而搜狐则在网站品类目录的整理上花费了大量的人力物力，使其成为一个分类合理的网站品类目录。

　　如果要谈国内搜索引擎技术应用的现状，就不能不谈百度。美国的门户网站大多以搜索引擎起步，国内搜索引擎的发展一直不尽如人意。这种局面直到2000年下半年才结束：年轻的百度公司迅速拿下硅谷动力、中文、搜狐、新浪、21CN、TOM等全文搜索引擎服务，成为中文领军企业搜索市场。百度的成功为中文搜索做出了很大贡献。不仅为门户网站网站提供了价格实惠的优质搜索引擎，让中国网民拥有更好的搜索体验，更因为百度的成功，激励了同行锐意进取。心，国内中文搜索引擎的发展进入了一个你急于追赶的良性发展时代。过去一年，中文搜索引擎的进步成为互联网行业的一大亮点。

　　无论搜索引擎多么强大，它都无法搜索到互联网上没有的内容。而且，虽然有些内容存在于互联网上，但由于种种原因，已经落网了。所以在你使用搜索引擎搜索之前，你应该花几秒钟的时间思考一下。我正在寻找的东西是否有可能在线获得？如果是这样，它在哪里可能，它是什么样的？页面上会收录哪些关键字？

　　有些事情您不需要为搜索引擎而烦恼。例如，要查找公司的电话号码，拨打 114 可能比搜索引擎快得多。还有一些问题，可能很难用合适的关键词来描述，或者你不能直接用搜索引擎搜索它们。那么你可以试着找一个精通这个问题的朋友，或者找这个领域的热门论坛来问，这也是一种搜索方法。有时，您可以选择的最佳搜索方法是放弃互联网并前往附近的图书馆，那里有大量您在网上找不到的“信息”。

　　当您确认您要查找的信息适合通过搜索引擎在线搜索时，找到满意结果的概率会高很多。

　　各种搜索引擎的特点非常鲜明。如果没有为每次搜索选择合适的搜索工具，您将浪费大量时间。对于这个搜索，你应该使用新浪还是搜狐？谷歌还是百度？分析您的需求，比较不同搜索引擎的优缺点，然后选择最适合本次搜索的搜索工具。

　　因此，在使用新技术时，应权衡利弊，适当使用。