抓取网页新闻(看代码urllib2get请求方法爬虫对象代码是post-get-post/x-www-form-urlencoded的区别)

　　抓取网页新闻(看代码urllib2get请求方法爬虫对象代码是post-get-post/x-www-form-urlencoded的区别)

　　抓取网页新闻的时候需要爬虫在浏览器中登录网页，或者爬虫在app中注册登录，还有就是网页页面代码过多需要抓取。get和post可以有两种用法：get：发送给get方法的url地址，直接获取该url下的所有的页面信息post：发送给post方法的url地址，用于向一个目标url或者目标网站发送消息，获取该页面信息。

　　上图就明白了，get是动态的发送请求获取数据；post是可以静态的发送一次请求获取数据，或者多次post；page就是网页页面url，get可以获取所有的页面，post也可以获取所有的页面。

　　get和post的基本区别如下：1。get获取一个网页的静态内容，post获取一个网页的动态内容2。get会有一个url报文，post不会，动态内容靠url报文是没有办法送达服务器的3。get只能是一次性请求，post可以多次请求，一次性请求4。get可以实现网页的抓取、更新，但post不能抓取、更新5。get可以获取网页的文件，post无法实现（例如，get的cookie信息，不适用于webqq）。

　　看代码urllib2get请求方法post请求方法爬虫对象方法

　　代码是post-get-post都是一个content-type就可以是application/x-www-form-urlencoded的请求

　　其实这是两种请求的区别和post和get的区别-dev-知乎专栏