网页抓取数据百度百科(Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛）)

　　网页抓取数据百度百科(Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛）)

　　Python爬虫是使用Python程序开发的网络爬虫（网络蜘蛛、网络机器人），是按照一定的规则自动从万维网上爬取信息的程序或脚本。通俗的说，就是通过程序在网页上获取你想要的数据，也就是自动抓取数据。

　　Python爬虫是使用Python程序开发的网络爬虫（网络蜘蛛、网络机器人），是按照一定的规则自动从万维网上爬取信息的程序或脚本。其他不太常用的名称是 ant、autoindex、emulator 或 worm。其实通俗的说，就是通过程序在网页上获取你想要的数据，也就是自动抓取数据。

　　Python爬虫架构

　　Python爬虫架构主要由五部分组成，分别是调度器、URL管理器、网页下载器、网页解析器和应用程序（爬取有价值的数据）。

　　爬虫能做什么？

　　你可以使用爬虫爬取图片、爬取视频等你想爬取的数据，只要你可以通过浏览器访问的数据都可以通过爬虫获取。

　　爬行动物的本质是什么？

　　模拟浏览器打开网页，获取网页中我们想要的部分数据

　　在浏览器中打开网页的过程：

　　当你在浏览器中输入地址时，通过DNS服务器找到服务器主机，向服务器发送请求，服务器解析并将结果发送到用户浏览器，包括html、js、css等文件内容，等等，浏览器解析并最终呈现给用户在浏览器上看到的结果

　　因此，用户在浏览器中看到的结果是由 HTML 代码组成的。我们的爬虫就是获取这些内容，通过对HTML代码的分析和过滤，我们可以从中获取我们想要的资源。