【编程课堂】以 jQuery 之名 - 爬虫利器 PyQuery

　　【编程课堂】以 jQuery 之名 - 爬虫利器 PyQuery

　　

　　根据 id 定位找到这个li标签，代码如下：

　　# 定位 id = note-11772642 的 li 标签<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />pq_id = pq('#note-11772642')

　　以上代码获取id名为note-11772642的标签，需要注意的是查询 id 时添加#前缀，这是 css 选择器语法。

　　根据 class 定位：

　　同样以刚才的为例

　　

　　我们根据class=have-img去获取这个li标签

　　# 定位 class = have-img 的 li 标签<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />pq_class = pq('.have-img')

　　注意的是查询class时添加.前缀，这也是 css 选择器语法。

　　2.3 索引标签

　　在上一节的最后有个小问题，我们知道head标签在 html 中只有一个，而class名为have-img的li标签可能有多个，我们该

　　如何遍历所有的li标签呢？ 又该如何单独的取某一个li呢？

　　首先我们可以逐个遍历

　　# 遍历所有 class = have-img 的 li 标签<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />for li in pq_class:    <br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />    # 获取每一个 li 标签

   pq_li = pq(li)

　　我们可以索引某一个li标签

　　使用.ep(index)函数。

　　# 获取第一个 li 标签<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />li_first = pq_class.ep(0)<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" /># 获取第二个 li 标签<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />li_second = pq_class.ep(1)

　　2.4 寻找标签

　　同样回到刚刚的那张图

　　

　　在上一步，我们已经找到了所有的li标签，也知道如何取索引其中的元素，但我们现在要准确定位到某一个元素，比如上图中id = note-11772642这个li标签。

　　这时候filter(selecter)就派上了用场

　　li_spec = pq_class.filter('#note-11772642')

　　这样我们就找到了指定的这个li标签，需要注意的是，filter函数只能在同一级标签中寻找，比如在这里只能过滤li标签，而不能定位li标签下的a标签、div标签等。

　　当然，针对这种情况， pyquery 为我们提供了另外一个函数find(selector)，该函数用于寻找子节点，继续以上图为例，寻找该特定 li 标签下的 p 标签

　　p_tag = li_spec.find('p')

　　2.5 提取属性与值

　　以上我们讲了许多关于标签的知识，现在来谈谈怎么获取标签内的属性和标签包裹的文本，实际的爬虫项目中，通常这是最重要的一步，比如从a标签中获取链接、从li标签或者p标签中获取文本。

　　获取属性：

　　使用attr()函数，以我们之前获取的li标签为例，获取其中的id属性

　　# 获取 id 属性的方法<br style="max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important;" />li_spec_id = li_spec.attr('id')

li_spec_id_2 = li_spec.attr.id

li_spec_id_3 = li_spec.attr['id']

　　获取文本：

　　使用text()函数， 以我们之前得到的p标签为例，获取其中的文本。

　　string = p_tag.text()

　　到此，在爬虫中会使用到的函数就是这些了。

　　3、小结

　　pyquery 还拥有操作文档树的能力，本篇文章着重介绍与爬虫相关的知识，所以就不再此详细叙述了，有兴趣的同学移步官方文档：

　　最后，既然我们都分析了简书首页，请大家根据所学内容爬取简书首页所有的文章标题和文章链接，然后打印出来吧，像下图一样

　　

　　在公众号（Crossin的编程教室）里回复 pyquery，可获取本文的完整示例代码。

　　『码上行动』在线学习班正在开放中，详情回复码上行动