python抓取动态网页(静态网页和动态网页在浏览网页的过程中的应用)

　　python抓取动态网页(静态网页和动态网页在浏览网页的过程中的应用)

　　静态网页和动态网页

　　我们在浏览网页的过程中，经常会遇到需要登录的情况，有些页面需要登录后才能访问，登录后可以连续多次访问网站，但是有时您需要在一段时间后重新打开。登录。还有一些网站，打开浏览器自动登录，时间长了也不会失败。为什么会出现这种情况？其实设计会话（Session）和Cookies的相关知识就在这里。

　　先来了解一下静态网页和动态网页的概念，同样使用前面的示例代码，内容如下：

　　为什么广告石斛叫“仙草”？用它泡水喝，4大好处在你包里！ ！

　　这是最基本的 HTML 代码。我们保存为.html文件，然后放到一个有固定公网IP的主机上，在主机上安装Apache或者Nginx等服务器，这样这个主机就可以当服务器了，其他人也可以访问服务器看到这个页面，构建最简单的网站。

　　这类网页的内容由HTML代码编写，文字、图片等内容由编写的HTML代码指定。这种页面称为静态网页。加载速度快，编写简单，但存在可维护性差、无法根据URL灵活展示内容等重大缺陷。比如我们要传入一个name参数给这个网页的URL，让它显示在网页上。这是不可能的。

　　于是，动态网页应运而生。它可以动态解析URL参数的变化，关联数据库，动态呈现不同的页面内容，非常灵活多变。我们现在遇到的网站大多是动态的网站，它们不再是简单的HTML，而是可能是用JSP、PHP、Python等语言编写的，它们的功能比静态的要强大得多，也更丰富网页 NS。

　　另外，动态网站还可以实现用户登录和注册功能。回到开头提到的问题，很多页面只有登录后才能查看。按照一般逻辑，输入用户名和密码登录后，我们必须得到类似于凭据的东西。有了它，我们就可以保持登录状态，访问只有登录后才能看到的页面。

　　那么这个神秘的凭证究竟是什么？其实是session和cookies共同作用的结果。