动态网页抓取(的动态网站开发的难度分析及应用)

　　动态网页抓取(的动态网站开发的难度分析及应用)

　　动态网页-意义

　　动态网页对应于静态网页，也就是说，网页URL的后缀不是静态网页的常见形式，例如。HTM，。HTML，。Shtml和。XML，但格式为。ASP，。JSP，。PHP，。Perl和。CGI，并且在动态网页URL中有一个图标-“？”。如果有这样的动态网页，则地址为：

　　这是一个典型的动态网页URL表单

　　从网站访问者的角度来看，动态和静态网页都可以显示基本的文本和图片信息，但从网站开发、管理和维护的角度来看，差异很大

　　动态网页-动态网页技术

　　浏览器端：Javascript脚本语言、DOM（文档对象模型）、CSS样式表和多媒体的使用

　　服务器端：

　　1.CGI舞台

　　CGI是通用网关接口的缩写，代表通用（标准）服务器端的接口。每当服务器收到客户更新数据的请求时，它都会使用此接口启动外部应用程序，以完成各种计算、处理或访问数据库。处理后，它会将结果返回到web服务器，然后返回到浏览器。外部应用程序是可编写的程序使用C、C++、Perl、Pascal、Java或其他语言编写。这些程序在单独的地址空间中运行。有关详细信息，请参见图1.1如中所示

　　后来出现了ISAPI（用于Internet Explorer浏览器）或NSAPI（用于Netscape浏览器）技术。其功能与CGI相同，但有一些技术改进。外部应用程序使用动态链接库（DLL）在web服务器的地址空间中运行，并使用“线程”而不是“进程”“，大大提高了运行效率。然而，无论是CGI、ISAPI还是NSAPI，都需要编写外部应用程序，编写外部应用程序并不是一件容易的任务。从开发人员的角度来看，这种开发方法并没有给开发带来方便

　　2.脚本语言阶段

　　在这个阶段，有许多优秀的脚本语言，如ASP、PHP、JSP等。脚本语言的出现大大简化了动态网站开发的难度。特别是，ASP和PHP易学且功能强大，已成为许多网站开发人员的首选

　　JSP和ASP的程序结构非常相似。它的主要功能是将Java程序片段（Scriptlet）添加到传统的HTML网页文件中，并使用各种JSP标记来形成JSP网页。当接收到客户端的访问请求时，web服务器首先执行程序片段，并以HTML格式将执行结果返回给客户端

　　3.组件技术阶段

　　net和Java（J2EE）技术是这一阶段的代表。这是一个完全面向对象的系统，由类和对象（组件）组成，以编译方法和事件驱动的方式运行。该系统具有高效、高可靠性和高可扩展性的特点

　　动态网页-网络营销教学网站简要总结了动态网页的一般特征如下：

　　（1)动态网页基于数据库技术，可以大大减少网站维护的工作量

　　（2)使用动态web技术，网站可以实现更*敏*感*词*，如用户注册、用户登录、在线调查、用户管理、订单管理等

　　（3)dynamic网页实际上不是独立存在于服务器上的网页文件。只有当用户请求时，服务器才会返回完整的网页

　　“？”在4)动态网页中，搜索引擎检索存在一些问题。通常，搜索引擎不可能从网站数据库访问所有网页，或者出于技术考虑，搜索爬行器不会抓取“？”在网址下面的内容中，因此，在使用动态网页网站推广搜索引擎时，我们需要做一些技术处理，以满足搜索引擎的要求