java爬虫抓取动态网页(Python语言Python爬虫程序之前知识准备工作会得心应手)

　　java爬虫抓取动态网页(Python语言Python爬虫程序之前知识准备工作会得心应手)

　　在使用Python编写爬虫程序之前，需要提前做好一些准备工作，以便在后续的学习过程中得心应手。

　　知识准备1) Python语言Python爬虫作为Python编程的高级知识，要求学习者具备良好的Python编程基础。对于没有基础的同学，推荐阅读《Python基础教程》，这套教程通俗易懂，非常适合初学者学习，教程作者亲自解答问答，有帮助您可以快速开始使用 Python。

　　同时了解Python语言的多进程、多线程（可参考《Python并发编程》），熟悉正则表达式语法，对编写爬虫程序也有帮助。

　　注意：关于正则表达式，Python 提供了一个特殊的 re 模块。详情请参考“Python re模块”。

　　2) Web Front End 了解Web前端的基础知识，如HTML、CSS、JavaScript，可以帮助您分析网页结构，提取有效信息。推荐阅读《HTML教程》、《CSS教程》、《JS教程》。

　　3) HTTP协议掌握OSI七层网络模型，理解TCP/IP协议和HTTP协议。这些知识将帮助您了解网络请求（GET 请求、POST 请求）和网络传输的基本原理。同时，它也会帮助你理解编写爬虫程序的逻辑。推荐阅读这里的“TCP/IP协议简介”。

　　图 1：OSI 网络七层模型

　　环境准备在编写Python爬虫程序之前，需要准备相应的开发环境，非常简单。首先，您需要在您的计算机上安装 Python，然后下载并安装 Pycharm IDE（集成开发环境）工具。具体下载安装过程可以阅读《Python基础教程》。

　　本教程使用Windows 10系统讲解Python爬虫。当然，您也可以使用其他系统，例如 Linux 或 Mac。

　　注意：下载Python时，建议下载Python 3.5及以上版本（包括3.5版本），本教程使用Python 3.7.4版本。