Python天气预报采集器实现代码(网页爬虫)

　　Python天气预报采集器实现代码(网页爬虫)

　　Python天气预报采集器实现代码(网页爬虫)

　　更新时间：2012年10月07日 00:36:02 转载作者：

　　这个天气预报采集是从中国天气网提取山东省内主要城市的天气并回显。本来是准备采集腾讯天气的，但是其实它的数据是用js写起来还是哪些的，得到的html文本中不收录数据，所以即使了

　　爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。

　　1、获得html文本。

　　python在获取html方面非常便捷，寥寥数行代码就可以实现我们须要的功能。

　　复制代码 代码如下:

　　def getHtml(url):

　　page = urllib.urlopen(url)

　　html = page.read()

　　page.close()

　　return html

　　这么几行代码相信不用注释都能大约晓得它的意思。

　　2、根据正则表达式等获得须要的内容。

　　使用正则表达式时须要仔细观察该网页信息的结构，并写出正确的正则表达式。

　　python正则表达式的使用也太简约。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里须要一个新的用法：

　　复制代码 代码如下:

　　def getWeather(html):

　　reg = '(.*?).*?(.*?).*?(.*?)'

　　weatherList = pile(reg).findall(html)

　　return weatherList

　　其中reg是正则表达式，html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并储存到weatherList中。之后再枚举weatheList中的数据输出即可。

　　这里的正则表达式reg有两个地方要注意。

　　一个是“(.*?)”。只要是（）中的内容都是我们即将获得的内容，如果有多个括弧，那么findall的每位结果就都收录这几个括弧中的内容。上面有三个括弧，分别对应城市、最低温和最高温。

　　另一个是“.*?”。python的正则匹配默认是贪婪的，即默认尽可能多地匹配字符串。如果在末尾加上问号，则表示非贪婪模式，即尽可能少地匹配字符串。在这里，由于有多个城市的信息须要匹配，所以须要使用非贪婪模式，否则匹配结果只剩下一个，且是不正确的。

　　python的使用确实非常便捷：）