网页抓取数据百度百科(如何编写一个爬虫的python聚集地！)

　　网页抓取数据百度百科(如何编写一个爬虫的python聚集地！)

　　最近在做一个项目，需要使用网络爬虫从特定的网站爬取数据，所以打算写一个爬虫系列文章跟大家分享一下如何编写爬虫。下面的文章文章介绍python爬虫的基础知识。有兴趣的朋友可以看看。

　　爬虫简介

　　 根据百度百科定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

　　随着大数据的不断发展，爬虫技术逐渐进入了人们的视野。可以说爬虫是大数据的产物。至少我在去除大数据后了解了爬虫的技术。

　　随着数据的海量增长，我们需要在互联网上选择需要的数据进行自己的研究分析和实验。这使用了爬虫技术。跟着小编第一次认识python爬虫吧！

　　一、请求-响应

　　使用python语言实现爬虫时，主要用到了urllib和urllib2这两个库。首先，用一段代码来说明以下内容：

　　import urllib

import urllib2

url="http://www.baidu.com"

request=urllib2.Request(url)

response=urllib2.urlopen(request)

print response.read()

　　我们知道一个网页是由html作为骨架，js作为肌肉，css作为衣服组成的。上面代码实现的功能是将百度网页的源码爬取到本地。

　　其中，url为要爬取的网页的URL；request 发出请求，response 是接受请求后给出的响应。最后read()函数的输出就是百度网页的源码。

　　二、GET-POST

　　两者都将数据传递到网页。最重要的区别是GET方法是以链接的形式直接访问的。该链接收录所有参数。当然，如果它收录密码，这是一个不安全的选择，但你可以直观地做到这一点。查看您提交的内容。

　　POST不会显示URL上的所有参数，但是如果要直接查看提交的内容，不是很方便，可以酌情选择。

　　POST 方法：

　　import urllib

import urllib2

values={

'username':'2680559065@qq.com','Password':'XXXX'}

data=urllib.urlencode(values)

url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'

request=urllib2.Request(url,data)

response=urllib2.urlopen(request)

print response.read()

　　获取方法：

　　import urllib

import urllib2

values={

'username':'2680559065@qq.com','Password':'XXXX'}

data=urllib.urlencode(values)

url = "http://passport.csdn.net/account/login"

geturl = url + "?"+data

request=urllib2.Request(geturl)

response=urllib2.urlopen(request)

print response.read()

　　三、异常处理

　　处理异常时，使用 try-except 语句。

　　import urllib2

try:

response=urllib2.urlopen("http://www.xxx.com")

except urllib2.URLError,e:

print e.reason

　　最后给大家推荐一个口碑不错的蟒蛇聚集地【点击进入】。有很多前辈的学习技巧、学习心得、面试技巧、职场心得等分享，我们精心准备了零基础的入门资料和实战项目资料。, 程序员每天定期讲解Python技术，分享一些学习方法和需要注意的小细节

　　总结

　　以上就是小编为大家介绍的python爬虫基础知识。我希望它对你有帮助。如果您有任何问题，请给我留言