网页抓取数据百度百科(小编一起爬虫python爬虫爬虫爬虫爬虫爬虫)

　　网页抓取数据百度百科(小编一起爬虫python爬虫爬虫爬虫爬虫爬虫)

　　爬虫简介

　　根据百度百科的定义：网络爬虫（又称网络蜘蛛、网络机器人，在FOAF社区中，更多时候是网络追逐者），是一种按照一定的规则或脚本自动抓取万维网上信息的程序。其他不太常用的名称包括蚂蚁、自动索引、模拟器或蠕虫。

　　随着大数据的不断发展，爬虫技术也慢慢进入了人们的视野。可以说，爬虫是大数据的产物。至少我在去除大数据后了解了爬虫技术。

　　随着数据的海量增长，我们需要在互联网上选择所需的数据进行自己的研究分析和实验。这里用到了爬虫技术，跟着小编第一次认识python爬虫吧！

　　一、请求-响应

　　使用python语言实现爬虫时，主要用到两个库，urllib和urllib2。先用一段代码来解释如下：

　　

import urllib

import urllib2

url="http://www.baidu.com"

request=urllib2.Request(url)

response=urllib2.urlopen(request)

print response.read()

　　我们知道一个网页是由html作为骨架，js作为肌肉，css作为衣服组成的。上述代码实现的功能是将百度网页源代码抓取到本地。

　　其中，url为要爬取的网页的URL；request 发出请求，response 是接受请求后给出的响应。最后，read()函数的输出就是百度网页的源码。

　　二、GET-POST

　　两者都是将数据传输到网页。最重要的区别是GET方法是以链接的形式直接访问的。该链接收录所有参数。当然，如果收录密码，是一个不安全的选择，但是你可以直观地看到你提交的内容。

　　POST不会把URL上的所有参数都显示出来，但是如果想直接查看已经提交的内容，就不是很方便了。您可以根据自己的需要进行选择。

　　POST方法：

　　

import urllib

import urllib2

values={'username':'2680559065@qq.com','Password':'XXXX'}

data=urllib.urlencode(values)

url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'

request=urllib2.Request(url,data)

response=urllib2.urlopen(request)

print response.read()

　　获取方法：

　　

import urllib

import urllib2

values={'username':'2680559065@qq.com','Password':'XXXX'}

data=urllib.urlencode(values)

url = "http://passport.csdn.net/account/login"

geturl = url + "?"+data

request=urllib2.Request(geturl)

response=urllib2.urlopen(request)

print response.read()

　　三、异常处理

　　处理异常时，使用 try-except 语句。

　　

import urllib2

try:

response=urllib2.urlopen("http://www.xxx.com")

except urllib2.URLError,e:

print e.reason

　　总结

　　以上就是小编为大家介绍的python爬虫的基础知识。我希望它会对你有所帮助。如有问题，请给我留言，小编会及时回复您。非常感谢大家对脸圈教程网站的支持！