jquery抓取网页内容(三种抓取网页数据的方法-2.Beautiful)

　　jquery抓取网页内容(三种抓取网页数据的方法-2.Beautiful)

　　下面我们将介绍三种抓取网页数据的方法，首先是正则表达式，然后是流行的 BeautifulSoup 模块，最后是强大的 lxml 模块。

　　1. 正则表达式

　　如果您是正则表达式的新手，或者需要一些提示，请查看正则表达式 HOWTO 以获得完整的介绍。

　　当我们使用正则表达式抓取国家/地区数据时，我们首先尝试匹配元素的内容，如下所示：

　　>>> import re

>>> import urllib2<br />>>> url = &#39;http://example.webscraping.com/view/United-Kingdom-239&#39;<br />>>> html = urllib2.urlopen(url).read()<br />>>> re.findall(&#39;(.*?)&#39;, html)<br />

[&#39;/places/static/images/flags/gb.png&#39;, &#39;244,820 square kilometres&#39;, &#39;62,348,447&#39;, &#39;GB&#39;, &#39;United Kingdom&#39;, &#39;London&#39;, &#39;EU&#39;, &#39;.uk&#39;, &#39;GBP&#39;, &#39;Pound&#39;, &#39;44&#39;, &#39;@# #@@|@## #@@|@@# #@@|@@## #@@|@#@ #@@|@@#@ #@@|GIR0AA&#39;, &#39;^(([A-Z]\\d{2}[A-Z]{2})|([A-Z]\\d{3}[A-Z]{2})|([A-Z]{2}\\d{2}[A-Z]{2})|([A-Z]{2}\\d{3}[A-Z]{2})|([A-Z]\\d[A-Z]\\d[A-Z]{2})|([A-Z]{2}\\d[A-Z]\\d[A-Z]{2})|(GIR0AA))$&#39;, &#39;en-GB,cy-GB,gd&#39;, &#39;IE &#39;]

>>>

　　从以上结果可以看出，标签用于多个国家属性。要隔离 area 属性，我们只需选择其中的第二个元素，如下所示：

　　>>> re.findall(&#39;(.*?)&#39;, html)[1]

&#39;244,820 square kilometres&#39;

　　虽然这个方案现在可用，但如果页面发生变化，它很可能会失败。例如，该表已更改为删除第二行中的土地面积数据。如果我们现在只抓取数据，我们可以忽略这种未来可能发生的变化。但是，如果我们以后想再次获取这些数据，我们需要一个更健壮的解决方案，尽可能避免这种布局更改的影响。为了使正则表达式更加健壮，我们也可以添加它的父元素。由于元素具有 ID 属性，因此它应该是唯一的。

　　>>> re.findall(&#39;Area: (.*?)&#39;, html)<br />

[&#39;244,820 square kilometres&#39;]

　　这个迭代版本看起来好一点，但是网页更新还有很多其他的方式也会让这个正则表达式不令人满意。例如，将双引号更改为单引号，在标签之间添加额外的空格，或者更改 area_label 等。下面是一个尝试支持这些可能性的改进版本。

　　>>> re.findall(&#39;.*?(.*?)&#39;,html)[&#39;244,820 square kilometres&#39;]

　　虽然这个正则表达式更容易适应未来的变化，但它也存在构造困难、可读性差的问题。此外，还有一些细微的布局更改可能会使此正则表达式无法令人满意，例如为标签添加标题属性。

　　从这个例子可以看出，正则表达式为我们提供了一种抓取数据的捷径，但是这种方法过于脆弱，在页面更新后容易出现问题。好在还有一些更好的解决方案，后面会介绍。

　　2. 靓汤

　　Beautiful Soup 是一个非常流行的 Python 模块。该模块可以解析网页并提供方便的界面来定位内容。如果您还没有安装该模块，可以使用以下命令安装其最新版本（需要先安装pip，请自行百度）：

　　pip install beautifulsoup4

　　使用 Beautiful Soup 的第一步是将下载的 HTML 内容解析成一个汤文档。由于大多数网页不是格式良好的 HTML，Beautiful Soup 需要确定它们的实际格式。例如，在下面这个简单网页的清单中，存在属性值和未闭合标签周围缺少引号的问题。

　　<br />Area<br />Population<br />

　　如果 Population 列表项被解析为 Area 列表项的子项，而不是两个并排的列表项，我们在抓取时会得到错误的结果。让我们看看Beautiful Soup是如何处理它的。

　　>>> from bs4 import BeautifulSoup

>>> broken_html = &#39;<br />AreaPopulation&#39;<br />

>>> # parse the HTML<br />

>>> soup = BeautifulSoup(broken_html, &#39;html.parser&#39;)<br />

>>> fixed_html = soup.prettify()<br />

>>> print fixed_html<br /><br /><br />

Area<br /><br />

Population<br /><br /><br />

　　从上面的执行结果可以看出，Beautiful Soup 能够正确解析缺失的引号并关闭标签。现在我们可以使用 find() 和 find_all() 方法来定位我们需要的元素。

　　>>> ul = soup.find(&#39;ul&#39;, attrs={&#39;class&#39;:&#39;country&#39;})<br />

>>> ul.find(&#39;li&#39;) # return just the first match<br />AreaPopulation<br />

>>> ul.find_all(&#39;li&#39;) # return all matches<br />

[AreaPopulation, Population]

　　注意：由于不同版本的Python内置库的容错能力存在差异，处理结果可能与上述不同。详情请参阅： 。想知道所有的方法和参数，可以参考 Beautiful Soup 的官方文档

　　以下是使用此方法提取样本国家地区数据的完整代码。

　　>>> from bs4 import BeautifulSoup<br />>>> import urllib2<br />>>> url = &#39;http://example.webscraping.com/view/United-Kingdom-239&#39;<br />>>> html = urllib2.urlopen(url).read()<br />>>> # locate the area row<br />>>> tr = soup.find(attrs={&#39;id&#39;:&#39;places_area__row&#39;})<br />>>> # locate the area tag<br />>>> td = tr.find(attrs={&#39;class&#39;:&#39;w2p_fw&#39;})<br />>>> area = td.text # extract the text from this tag<br />>>> print area<br />244,820 square kilometres

　　此代码虽然比正则表达式代码更复杂，但更易于构建和理解。此外，布局中的一些小变化，例如额外的空白和制表符属性，我们不再需要担心它了。

　　3. Lxml

　　Lxml 是基于 XML 解析库 libxml2 的 Python 包装器。模块用C语言编写，解析速度比Beautiful Soup快，但安装过程比较复杂。最新安装说明可以参考。**

　　与 Beautiful Soup 一样，使用 lxml 模块的第一步是将可能无效的 HTML 解析为统一格式。以下是使用此模块解析不完整 HTML 的示例：

　　>>> import lxml.html<br />

>>> broken_html = &#39;<br />AreaPopulation&#39;

>>> # parse the HTML<br />

>>> tree = lxml.html.fromstring(broken_html)<br />

>>> fixed_html = lxml.html.tostring(tree, pretty_print=True)<br />

>>> print fixed_html<br /><br />Area<br />Population<br />

　　同样，lxml 正确解析属性周围缺少的引号并关闭标签，但模块不会添加和标签。

　　解析输入后，是时候选择元素了。此时，lxml 有几种不同的方法，例如 XPath 选择器和 Beautiful Soup 之类的 find() 方法。但是，我们将来会使用 CSS 选择器，因为它更简洁，可以在解析动态内容时重用。此外，一些有 jQuery 选择器经验的读者会更熟悉它。

　　以下是使用 lxml 的 CSS 选择器提取区域数据的示例代码：

　　>>> import urllib2<br />>>> import lxml.html<br />>>> url = &#39;http://example.webscraping.com/view/United-Kingdom-239&#39;<br />>>> html = urllib2.urlopen(url).read()<br />>>> tree = lxml.html.fromstring(html)<br />>>> td = tree.cssselect(&#39;tr#places_area__row > td.w2p_fw&#39;)[0] # *行代码<br />>>> area = td.text_content()<br />>>> print area

244,820 square kilometres

　　*行代码会先找到ID为places_area__row的表格行元素，然后选择类为w2p_fw的表格数据子标签。

　　CSS 选择器表示用于选择元素的模式。以下是一些常用选择器的示例：

　　选择所有标签: *<br />

选择 标签: a<br />

选择所有 class="link" 的元素: .link<br />

选择 class="link" 的 标签: a.link<br />

选择 id="home" 的 标签: a#home<br />

选择父元素为 标签的所有 子标签: a > span<br />

选择 标签内部的所有 标签: a span <br />

选择 title 属性为"Home"的所有 标签: a[title=Home]

　　W3C 在

　　Lxml 已经实现了大部分 CSS3 属性，其不支持的功能可以在： .

　　注意：lxml 的内部实现实际上将 CSS 选择器转换为等效的 XPath 选择器。

　　4. 性能比较

　　在下面的代码中，每个爬虫会执行1000次，每次执行都会检查爬取结果是否正确，然后打印总时间。

　　# -*- coding: utf-8 -*-<br /><br />import csv<br />import time<br />import urllib2<br />import re<br />import timeit<br />from bs4 import BeautifulSoup<br />import lxml.html<br /><br />

FIELDS = (&#39;area&#39;, &#39;population&#39;, &#39;iso&#39;, &#39;country&#39;, &#39;capital&#39;, &#39;continent&#39;, &#39;tld&#39;, &#39;currency_code&#39;, &#39;currency_name&#39;, &#39;phone&#39;, &#39;postal_code_format&#39;, &#39;postal_code_regex&#39;, &#39;languages&#39;, &#39;nei*敏*感*词*ours&#39;)<br /><br />def regex_scraper(html):<br /><br />

results = {}<br />for field in FIELDS:<br />

results[field] = re.search(&#39;.*?(.*?)&#39;.format(field), html).groups()[0]<br />return results<br /><br />def beautiful_soup_scraper(html):<br />

soup = BeautifulSoup(html, &#39;html.parser&#39;) <br />

results = {}<br />for field in FIELDS:<br />

results[field] = soup.find(&#39;table&#39;).find(&#39;tr&#39;, id=&#39;places_{}__row&#39;.format(field)).find(&#39;td&#39;, class_=&#39;w2p_fw&#39;).text<br />return results<br /><br />def lxml_scraper(html):<br />

tree = lxml.html.fromstring(html)<br />

results = {}<br />for field in FIELDS:<br />

results[field] = tree.cssselect(&#39;table > tr#places_{}__row > td.w2p_fw&#39;.format(field))[0].text_content()<br />return results<br /><br />def main():

times = {}

html = urllib2.urlopen(&#39;http://example.webscraping.com/view/United-Kingdom-239&#39;).read()<br />

NUM_ITERATIONS = 1000 # number of times to test each scraper<br />for name, scraper in (&#39;Regular expressions&#39;, regex_scraper), (&#39;Beautiful Soup&#39;, beautiful_soup_scraper), (&#39;Lxml&#39;, lxml_scraper):<br />

times[name] = []<br /># record start time of scrape<br />

start = time.time()<br />for i in range(NUM_ITERATIONS):<br />if scraper == regex_scraper:<br /># the regular expression module will cache results<br /># so need to purge this cache for meaningful timings<br />

re.purge() # *行代码<br />

result = scraper(html)<br /><br /># check scraped result is as expected<br />assert(result[&#39;area&#39;] == &#39;244,820 square kilometres&#39;)<br />

times[name].append(time.time() - start)<br /># record end time of scrape and output the total<br />

end = time.time()<br />print &#39;{}: {:.2f} seconds&#39;.format(name, end - start)<br /><br />

writer = csv.writer(open(&#39;times.csv&#39;, &#39;w&#39;))<br />

header = sorted(times.keys())<br />

writer.writerow(header)<br />for row in zip(*[times[scraper] for scraper in header]):<br />

writer.writerow(row)<br /><br />if __name__ == &#39;__main__&#39;:<br />

main()

　　请注意，我们在 *line 代码中调用了 re.purge() 方法。默认情况下，正则表达式会缓存搜索结果，公平起见，我们需要使用这种方法来清除缓存。

　　这是在我的计算机上运行脚本的结果：

　　

　　由于硬件条件的不同，不同计算机的执行结果也会有一定的差异。但是，每种方法之间的相对差异应该具有可比性。从结果可以看出，Beautiful Soup 在爬取我们的示例网页时比其他两种方法慢 7 倍以上。事实上，这个结果是意料之中的，因为 lxml 和正则表达式模块是用 C 编写的，而 Beautiful Soup 是用纯 Python 编写的。一个有趣的事实是 lxml 的性能与正则表达式差不多。由于 lxml 必须在搜索元素之前将输入解析为内部格式，因此会产生额外的开销。当爬取同一个网页的多个特征时，这个初始解析的开销会减少，lxml会更有竞争力，所以lxml是一个强大的模块。

　　5. 总结

　　三种网页抓取方式的优缺点：

　　抓取方式 性能 使用难度 安装难度

　　正则表达式

　　快的

　　困难

　　简单（内置模块）

　　美丽的汤

　　慢

　　简单的

　　简单（纯 Python）

　　lxml

　　快的

　　简单的

　　比较困难

　　如果您的爬虫的瓶颈是下载页面，而不是提取数据，那么使用较慢的方法（如 Beautiful Soup）不是问题。正则表达式在一次提取中非常有用，除了避免解析整个网页的开销之外，如果你只需要抓取少量数据并想避免额外的依赖，那么正则表达式可能更适合. 但是，总的来说，lxml 是抓取数据的最佳选择，因为它不仅速度更快，功能更强大，而正则表达式和 Beautiful Soup 仅在某些特定场景下才有用。