querylist采集微信公众号文章(微信公众号爬取方式)

　　querylist采集微信公众号文章(微信公众号爬取方式)

　　最近在做自己的一个项目，涉及到需要通过python爬取微信公众号文章。由于微信的独特方法，无法直接爬取。在研究了一些 文章 之后，我可能会有一个想法。而且网上能查到的解决方案都没有问题，但是里面的代码由于一些第三方库的改动，基本无法使用。本文章是写给需要爬取公众号文章的朋友，文章最后也会提供python源码下载。

　　##公众号抓取方式

　　爬取公众号主要有两种方式。一是通过搜狗搜索微信公众号页面找到文章地址，然后爬取具体的文章内容；注册公众号然后通过公众号的搜索界面查询文章的地址，然后根据地址爬取文章的内容。

　　这两种方案各有优缺点。通过搜狗搜索做的核心思想是通过request模拟搜狗搜索公众号，然后解析搜索结果页面，然后根据官方主页地址爬取文章的详细信息帐户。但是这里需要注意，因为搜狗和腾讯的协议，只能显示最新的10个文章，没有办法获取所有的文章。如果你想得到文章的所有朋友，你可能不得不使用第二种方法。第二种方法的缺点是注册公众号通过腾讯认证比较麻烦，通过调用接口公众号查询接口进行查询，但是翻页需要通过selenium来模拟滑动翻页操作，整个过程比较麻烦。因为我的项目中不需要history文章，所以我使用搜狗搜索来爬取公众号。

　　爬取最近10个公众号文章

　　python需要依赖的三方库如下：

　　urllib，pyquery，请求，硒

　　具体逻辑写在评论里，没有特别复杂的地方。

　　爬虫核心类

　　````蟒蛇

　　#!/usr/bin/python

　　# 编码：utf-8

　　[Python] 纯文本查看

　　import sys

reload(sys)

sys.setdefaultencoding('utf-8')

from urllib import quote

from pyquery import PyQuery as pq

import requests

import time

import re

import os

from selenium.webdriver import Chrome

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.wait import WebDriverWait

# 搜索入口地址，以公众为关键字搜索该公众号

def get_search_result_by_keywords(sogou_search_url):

# 爬虫伪装头部设置

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}

# 设置操作超时时长

timeout = 5

# 爬虫模拟在一个request.session中完成

s = requests.Session()

log(u'搜索地址为：%s' % sogou_search_url)

return s.get(sogou_search_url, headers=headers, timeout=timeout).content

# 获得公众号主页地址

def get_wx_url_by_sougou_search_html(sougou_search_html):

doc = pq(sougou_search_html)

return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

# 使用webdriver 加载公众号主页内容，主要是js渲染的部分

def get_selenium_js_html(url):

options = Options()

options.add_argument('-headless') # 无头参数

driver = Chrome(executable_path='chromedriver', chrome_options=options)

wait = WebDriverWait(driver, timeout=10)

driver.get(url)

time.sleep(3)

# 执行js得到整个页面内容

html = driver.execute_script("return document.documentElement.outerHTML")

driver.close()

return html

# 获取公众号文章内容

def parse_wx_articles_by_html(selenium_html):

doc = pq(selenium_html)

return doc('div[class="weui_media_box appmsg"]')

# 将获取到的文章转换为字典

def switch_arctiles_to_list(articles):

# 定义存贮变量

articles_list = []

i = 1

# 遍历找到的文章，解析里面的内容

if articles:

for article in articles.items():

log(u'开始整合(%d/%d)' % (i, len(articles)))

# 处理单个文章

articles_list.append(parse_one_article(article))

i += 1

return articles_list

# 解析单篇文章

def parse_one_article(article):

article_dict = {}

# 获取标题

title = article('h4[class="weui_media_title"]').text().strip()

###log(u'标题是： %s' % title)

# 获取标题对应的地址

url = 'http://mp.weixin.qq.com' + article('h4[class="weui_media_title"]').attr('hrefs')

log(u'地址为： %s' % url)

# 获取概要内容

summary = article('.weui_media_desc').text()

log(u'文章简述： %s' % summary)

# 获取文章发表时间

date = article('.weui_media_extra_info').text().strip()

log(u'发表时间为： %s' % date)

# 获取封面图片

pic = parse_cover_pic(article)

# 返回字典数据

return {

'title': title,

'url': url,

'summary': summary,

'date': date,

'pic': pic

}

# 查找封面图片，获取封面图片地址

def parse_cover_pic(article):

pic = article('.weui_media_hd').attr('style')

p = re.compile(r'background-image:url\((.*?)\)')

rs = p.findall(pic)

log(u'封面图片是：%s ' % rs[0] if len(rs) > 0 else '')

return rs[0] if len(rs) > 0 else ''

# 自定义log函数，主要是加上时间

def log(msg):

print u'%s: %s' % (time.strftime('%Y-%m-%d_%H-%M-%S'), msg)

# 验证函数

def need_verify(selenium_html):

' 有时候对方会封锁ip，这里做一下判断，检测html中是否包含id=verify_change的标签，有的话，代表被重定向了，提醒过一阵子重试 '

return pq(selenium_html)('#verify_change').text() != ''

# 创建公众号命名的文件夹

def create_dir(keywords):

if not os.path.exists(keywords):

os.makedirs(keywords)

# 爬虫主函数

def run(keywords):

' 爬虫入口函数 '

# Step 0 ： 创建公众号命名的文件夹

create_dir(keywords)

# 搜狐微信搜索链接入口

sogou_search_url = 'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_=' % quote(

keywords)

# Step 1：GET请求到搜狗微信引擎，以微信公众号英文名称作为查询关键字

log(u'开始获取，微信公众号英文名为：%s' % keywords)

log(u'开始调用sougou搜索引擎')

sougou_search_html = get_search_result_by_keywords(sogou_search_url)

# Step 2：从搜索结果页中解析出公众号主页链接

log(u'获取sougou_search_html成功，开始抓取公众号对应的主页wx_url')

wx_url = get_wx_url_by_sougou_search_html(sougou_search_html)

log(u'获取wx_url成功，%s' % wx_url)

# Step 3：Selenium+PhantomJs获取js异步加载渲染后的html

log(u'开始调用selenium渲染html')

selenium_html = get_selenium_js_html(wx_url)

# Step 4: 检测目标网站是否进行了封锁

if need_verify(selenium_html):

log(u'爬虫被目标网站封锁，请稍后再试')

else:

# Step 5: 使用PyQuery，从Step 3获取的html中解析出公众号文章列表的数据

log(u'调用selenium渲染html完成，开始解析公众号文章')

articles = parse_wx_articles_by_html(selenium_html)

log(u'抓取到微信文章%d篇' % len(articles))

# Step 6: 把微信文章数据封装成字典的list

log(u'开始整合微信文章数据为字典')

articles_list = switch_arctiles_to_list(articles)

return [content['title'] for content in articles_list]

```

main入口函数：

```python

# coding: utf8

import spider_weixun_by_sogou

if __name__ == '__main__':

gongzhonghao = raw_input(u'input weixin gongzhonghao:')

if not gongzhonghao:

gongzhonghao = 'spider'

text = " ".join(spider_weixun_by_sogou.run(gongzhonghao))

print text

　　````

　　直接运行main方法，在控制台输入你要爬取的公众号英文名，中文的搜索结果可能有多个，这里只搜索一个，查看英文公众号，直接点击手机打开公众号，然后查看公众号信息，可以看到如下爬虫结果爬取到文章的相关信息，文章的具体内容可以通过调用webdriver进行爬取。 py 在代码中。

　　![截图2018-08-30 17.56.09](

　　

　　?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

　　爬取公众号注意事项

　　以下三点是我在爬取过程中遇到的一些问题，希望能帮助大家避开陷阱。

　　1. Selenium 对 PhantomJS 的支持已被弃用，请使用无头版本的 Chrome 或 Firefox 代替 warnings.warn('Selenium 对 PhantomJS 的支持已被弃用，请使用 headless '

　　网上很多文章还在使用PhantomJS。事实上，Selenium 从去年开始就没有支持 PhantomJS。现在，如果你使用 Selenium 来初始化浏览器，你需要使用 webdriver 来初始化 Chrome 或 Firefox 驱动程序，而不需要 head 参数。

　　详情请参考官网链接：

　　2. 无法连接到Service chromedriver/firefoxdriver

　　我在开发过程中也遇到过这个坑。这个问题一般有两种可能。一是没有配置chromedriver或geckodriver的环境变量。这里需要注意chromedriver或者geckodriver文件的环境变量一定要配置到PATH中，或者干脆粗暴地将这两个文件直接复制到/usr/bin目录下；

　　还有另一种可能是未配置主机。如果你发现这个问题，检查你的hosts文件是否没有配置`127.0.0.1 localhost`，只要配置好了。

　　这里还有一点需要注意的是，如果你使用的是chrome浏览器，还要注意chrome浏览器版本和chromedriver的对应关系。可以在这个文章查看或者去google官网查看最新对应。.

　　3. 抗吸血

　　微信公众号已经对文章中的图片进行了防盗链处理，所以如果图片在公众号、小程序、PC浏览器以外的地方无法显示，建议您阅读本文文章了解如何应对微信防盗链。

　　总结

　　好了，上面说了这么多。大家最关心的是源码。这里是github地址：，如果好用记得用str。