想让你的网站内容对搜索引擎是可见的吗

　　想让你的网站内容对搜索引擎是可见的吗

　　动态生成的网页：

　　对于那些动态生成的网页，我们的实际访问者可以用肉眼看到它。但是对于大多数搜索引擎而言，蜘蛛程序通常是不可见的，这就是为什么搜索引擎蜘蛛难以检索动态网页的原因。因此，如果您希望动态网页出现在搜索引擎的搜索结果中，则只需要确保网站内容对搜索引擎可见即可，也就是说，搜索引擎的Spider程序可以看到您的内容网站。没关系。

　　所谓的动态网页通常是指由诸如asp，php，coldfusion，cgi等程序动态生成的页面。网页中的大多数内容来自连接到网站的数据库。该页面在网络空间中不存在，只有在收到用户的访问请求后，才会生成该页面并将其传输到用户的浏览器。而且由于访问者可以实时获取他们想要的数据，因此动态网页往往会给人们留下深刻的印象。此外，动态网页还具有易于维护和更新的优点。例如，对于新产品或价格调整。 网站管理员只需要对数据库进行简单的更改。完全不需要修改每个静态页面。

　　从用户的角度来看，动态网页确实很棒。但是，如果从搜索引擎的角度来看，结论是不一样的。

　　动态网页的问题：

　　问题在于这些动态网页实际上并不存在于Web空间中。仅当用户在可变区域中输入值时才会生成它们。我们都知道，无论搜索引擎的蜘蛛多么聪明，它都只是一个搜索程序。他们无法选择变量并像真实人一样输入值。

　　该查询也可以合并到主页上的链接中，从而使该链接成为预定义的网站目录查询。用户可以在搜索表单中输入查询条件以进行查询，通常动态脚本需要某些信息来返回页面内容，其中最常见的是诸如cookie数据，sessionid或环境变量之类的信息。但是对于搜索引擎的蜘蛛程序，他们不可能知道如何使用搜索功能或要问什么问题。因此，经常需要在动态站点之前停止对网站的蜘蛛检索。

　　此外，动态页面的URL收录一个问号（？）和一个百分号（％）。在动态页面的URL中通常也可以看到诸如＆，％，+和$等符号。这样的URL称为“环境变量”（查询字符串）。但是，大多数蜘蛛程序无法解释符号“？”之后的字符。例如，对于这样的URL：大多数蜘蛛程序只能读取符号“？”之前的字符。这 ”？”网址中的网址是他们的“停止标记”，因此最终检索到的网址只能是：

　　很显然，由于此URL实际上不存在，因此他们什么也没找到。因此，如果动态生成网站或网站上的大多数网页，为了使蜘蛛更容易阅读网站上的内容，则需要对网站进行某些修改。

　　某些搜索引擎在检索页面时经常拒绝在cgi-bin目录下搜索静态页面（即，保存为静态页面的动态页面）的url。例如，它们不提供以下两个URL的检索：

　　为什么搜索引擎无法读取符号“？”之后的内容：

　　搜索引擎的蜘蛛不愿阅读cgi-bin目录中的网页，或者URL中收录字符“？”。原因是，如果在cgi中提供了“无限”个URL，则由于这些“无限”网页的检索，蜘蛛通常会陷入无限循环中。这些就是所谓的蜘蛛陷阱。数据库程序可能还会创建与蜘蛛类似的情况。因此，为了避免可能的陷阱，蜘蛛程序不会读取“？”之后的字符。在网址中带有符号“？”。

　　如果蜘蛛被您的服务器困住，不仅对蜘蛛本身不利，而且蜘蛛​​对网站页面的重复请求也将导致服务器系统完全瘫痪。

　　动态网页的优化计划：

　　举个例子：我们可以从其网址中看到，它表明网站提供了与自然减肥产品相关的内容。不幸的是，由于蜘蛛不支持动态生成的页面，因此搜索引擎无法为动态页面上的相关内容建立索引。假设有一个竞争对手的网页也具有与自然减肥产品相似的内容，但是由于他的网页是静态网页，因此搜索引擎可以将其编入索引。那么可以想象那些搜索“天然减肥产品”的用户将访问最后一个网站。此外，即使所提供的特定内容比其竞争对手还好？仅仅因为它不能出现在搜索引擎的搜索结果中，它才可以将在线销售的良好机会移交给他的竞争对手。

　　此问题的解决方案可以遵循以下思想：更改动态网页的URL，以使该URL不再收录符号“？”。 “ =”和其他类似的符号，看起来像是静态网址。

　　由不同程序开发的动态页面的不同解决方案：

　　•cgi / perl

　　如果在网站中使用cgi或perl，则可以使用脚本来拾取环境变量之前的所有字符，然后将url中的其余字符分配给变量。这样，您可以在url中使用该变量。

　　路径信息（或脚本名称）是动态应用程序中的一个变量，其中收录完整的URL地址和环境变量信息。这样，脚本将从路径信息变量中获取环境变量之前的字符，并将其余字符替换为变量。

　　但是，对于那些具有某些内置ssi（服务器端收录）内容的网页，主要的搜索引擎可以提供索引支持。这些后缀为.shtml的网页也将解析为ssi文件，该文件等同于通常的.html文件。但是，如果这些网页在其URL中使用cgi-bin路径，则搜索引擎可能仍未将它们编入索引。

　　•asp

　　ASP（activeserverpages：Web服务器端动态网页开发技术）用于基于Microsoft的Web服务器。使用asp开发的网页通常带有.asp后缀。 Asp功能简单实用，加上Microsoft的大力支持，因此受到大多数朋友的欢迎，可以说是当今Web开发中最受欢迎的语言之一。只要避免使用符号“？”在URL中，大多数搜索引擎可以支持使用asp开发的动态网页。

　　那么使用“？”的URL怎么办？为了解决这个问题，一家名为“ exceptiondigitalenterprisesolutions”的公司推出了他们的解决方案xqasp。这是一个升级软件。它允许使用符号“？”网址中的，通过网络服务器将其转换为“ /”。有关更多信息，请访问：有一些相对便宜的解决方案，例如asaspiderbait和portalpagefilter。

　　•冷融合

　　如果使用的是Coldfusion，则需要在服务器端重新配置它。使用Coldfusion开发的网页通常使用.cfm作为文件扩展名。通常，数据库使用符号“？”检索网页。您可以重新配置Coldfusion设置，以便可以替换符号“？”。在带有符号“ /”的环境变量中，然后将替换后的值传递给url。这样，到达浏览器的最后一件事就是静态URL页面。也就是说，对于URL，返回到浏览器的最后一件事是，当搜索引擎检索转换后的文件时，它将不会遇到“？”，因此它可以继续为整个动态页面建立索引，从而使您的动态网站页面仍然是搜索引擎。

　　•apache服务器

　　apache是​​最受欢迎的http服务器软件之一。它有一个名为mod_rewrite的重写模块，它使您可以将收录环境变量的URL转换为搜索引擎可以支持的URL类型。但是mod_rewrite不是apache软件安装中的默认模块，因此您应咨询托管公司以查看该模块在服务器上是否可用。

　　也以上述网址为例：使用mod_rewrite模块后，网址将变为以下格式：有关此模块的更多信息，请访问

　　动态网页可以直接通过付费的收录程序提交：

　　直接将活动网站提交给altavista，以增加网站成为收录的机会。如果您通过altavista或inktomi的付费收录程序提交了该文件，则可以保证网站的收录。

　　文件扩展名：

　　现在，文件名的后缀是什么。对于搜索引擎而言，这不再是一个问题。即使您的网页没有.html或.htm扩展名，只要url中不收录符号“？”，它仍然可以被索引。相反，搜索引擎Northernnight特别灵活。它可以使用.html，.htm，.shtml，.stm，.asp，.phtml，.cfm，.php3，.php，.jsp，.jhtml，.asc，.text和.txt是文件来索引任何搜索引擎带有扩展名。但是，它仍然不支持后缀为.cgi的文件。如果网站上有不支持的扩展名文件，它将在网站的提交过程中通知您。

　　结论：

　　问问自己，您真的需要使用动态网页吗？数据库通常用作页面生成工具，您可以使用它来创建静态页面，尤其是对于网站上不经常更改的区域，可以考虑使用数据库来生成静态页面内容。为了确保搜索引擎的索引，您还可以考虑为动态内容创建镜像的静态网页。

　　大多数搜索引擎仍然不习惯为动态网页编制索引，而今天仍然如此。这是因为对动态生成的网页的检索可能导致搜索引擎的蜘蛛落入无限循环的“陷阱”，并且无法摆脱循环。但是现在情况正在逐步改善。第一个支持动态网页的搜索引擎是Google，它能够在2000年底之前为动态网页（包括URL中的“？”）建立索引。此外，hotbot和其他一些搜索引擎也已开始支持动态页面。

　　尽管这些搜索引擎可以支持动态网页，但是为了确保其蜘蛛程序不会陷入无限循环，搜索引擎将不会对从动态生成的页面进行的链接进行深入访问。因此，我建议您在动态生成的页面上花费更多的时间，并确保每个页面都可以被搜索引擎索引。实际上，最终，您会发现花费的时间绝对是一笔不错的投资-它也可以为您的网站带来更多访问。