网页抓取数据百度百科(如何使用使用python来编写一些简单的网络爬虫？(图))

　　网页抓取数据百度百科(如何使用使用python来编写一些简单的网络爬虫？(图))

　　本文主要是个人python学习过程中的思考，希望对感兴趣的童鞋有所帮助。

　　百度百科对网络爬虫的定义是：“网络爬虫（又称网络蜘蛛、网络机器人，在FOAF社区，更常称为网页追赶者）是一种按照一定规则进行的自动爬取。万维网上信息的程序或脚本”。使用网络爬虫，可以对来自互联网的个人兴趣数据进行个性化处理，完成一些目前搜索引擎无法完成的个性化搜索。说用python写一个网络爬虫其实是在模拟浏览器的工作过程，从网上抓取需要的信息，完成分析、提取、存储的过程。

　　为了更好的爬虫的工作过程，我们先来看看用户访问互联网资源的过程，用户在浏览器中输入：

　　例如，当用户输入完成，开始搜索时，用户请求的网页经过DNS完成域名解析，通过网络携带HTTP协议栈的数据，发送到服务器百度定位。将首页的数据返回给用户（假设这个过程中的所有进程都是正确的）。用户浏览器接收到百度响应数据后，通过浏览器解析数据，将百度主页呈现在用户面前。这里，百度返回的数据是HTTP协议栈封装的HTML/CSS/PHP数据。如上所述，当我们用python编写网络爬虫时也是如此。为了完成这个工作流程，我们需要掌握python的基本知识，

　　废话不多说，我们通过一些实际的例子来看看如何使用python编写一些简单的网络爬虫。