感谢那一段追忆里的疯狂，在我们最无谓的时光闪着光。

　　 result = requests.get(re.compile("\s").sub("", url), headers=headers, timeout=10) # 只需一行

即可抓取网页

　　> 是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个执行绪，进而提升整体处理性能。

　　爬虫是一个典型的多任务处理场景，在我们大多数爬虫程序中，往往最多是时间是在等待网路io网络爬虫技术，更详尽点说，时间耗费在每次HTTP请求时的tcp/ip握手和数据传输上。多线程或进程可以使我们并行地去做这种事情网络爬虫技术，对于爬虫的效率会有极大的提高。ps:友情提示:请准守 ‘平衡礼貌策略’。

　　以下内容均为伪代码

　　page = requests("")

　　当然，requests有好多参数可以使用，具体可以查看requests的官方文档。

　　requests.get(url, data=payload) # get请求

""" POST请求 """

payload = {'key1': 'value1', 'key2': 'value2'}

requests.post(url, data=payload)

　　rdm = random.uniform(1, 9999999)

headers = {'User-Agent': agent.format(rdm=rdm)}

result = requests.get(url, headers=headers, timeout=10)

　　我们可以告诉 requests 在经过以 timeout 参数设定的秒数时间以后停止等待响应，以便避免爬虫卡死或特殊情况造成程序异常结束。

　　requests.get(re.compile("\s").sub("", url), timeout=10)

　　整个爬虫抓取的过程。也是我们与服务器斗智斗勇的过程，有的服务器并不希望我们去抓取他的内容和数据，会对我们的爬虫进行限制。

　　当然，我们仍然要记住我们的公理：所有网站均可爬。

　　这里举几个常见的防爬和反爬实例：

　　1 cookie[session]验证。