终于知晓python网路爬虫的作用

　　python网路爬虫的作用

　　1.做为通用搜索引擎网页收集器。

　　2.做垂直搜索引擎.

　　3.科学研究：在线人类行为，在线社群演变，人类动力学研究，计量社会学，复杂网路，数据挖掘，等领域的实证研究都须要大量数据，网络爬虫是搜集相关数据的神器。

　　4.偷窥，hacking，发垃圾邮件……

　　request恳求包含哪些

　　当我们通过浏览器向服务器发送request恳求时，这个request包含了一些哪些信息呢?我们可以通过chrome的开发者工具进行说明(如果不知道怎样使用看本篇备注)。

　　请求方法：最常用的恳求方法包括get恳求和post恳求。post恳求在开发中最常见的是通过表单进行递交，从用户角度来讲网络爬虫 作用，最常见的就是登入验证。当你须要输入一些信息进行登陆的时侯，这次恳求即为post恳求。

　　url统一资源定位符：一个网址，一张图片，一个视频等都可以用url去定义。当我们恳求一个网页时，我们可以查看network标签网络爬虫 作用，第一个一般是一个document，也就是说这个document是一个未加外部图片、css、js等渲染的html代码，在这个document的下边我们会听到一系列的jpg，js等，这是浏览器按照html代码发起的一次又一次的恳求，而恳求的地址，即为html文档中图片、js等的url地址

　　request headers：请求头，包括此次恳求的恳求类型，cookie信息以及浏览器类型等。 这个恳求头在我们进行网页抓取的时侯还是有些作用的，服务器会通过解析恳求头来进行信息的初审，判断此次恳求是一次合法的恳求。所以当我们通过程序伪装浏览器进行恳求的时侯，就可以设置一下恳求头的信息。

　　请求体：post恳求会把用户信息包装在form-data上面进行递交，因此相比于get恳求，post恳求的Headers标签的内容会多出Form Data这个信息包。get恳求可以简单的理解为普通的搜索回车，信息将会以?间隔添加在url的旁边。

　　为什么python适宜写爬虫

　　1)抓取网页本身的插口

　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的插口更简约;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是挺好的选择)

　　此外，抓取网页有时候须要模拟浏览器的行为，很多网站对于死板的爬虫抓取都是封杀的。这是我们须要模拟user agent的行为构造合适的恳求，譬如模拟用户登录、模拟session/cookie的储存和设置。在python里都有特别优秀的第三方包帮你搞定，如Requests，mechanize

　　2)网页抓取后的处理

　　抓取的网页一般须要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简约的文档处理功能，能用极短的代码完成大部分文档的处理。

　　其实以上功能好多语言和工具都能做，但是用python才能干得最快，最干净。Life is short， u need python.

　　聚焦爬虫过滤方式

　　1.浅聚焦爬虫

　　选取符合目标主题的*敏*感*词*URL，例如我们定义抓取的信息为急聘信息，我们便可将急聘网站的URL(拉勾网、大街网等)作为*敏*感*词*URL，这样便保证了抓取内容与我们定义的主题的一致性。

　　2.深聚焦爬虫

　　一般有两种，一是针对内容二是针对URL。其中针对内容的如页面中绝大部分超链接都是带有锚文本的，我们可以依据锚文本进行筛选。