微信公众号文章检索方法摘要（第1部分）

　　

　　爬虫

　　我经常有一些需要帮助的人，他们在搜寻公共帐户文章方面需要帮助. 这次我将总结各种方法.

　　目前，有三种主要的微信公众号抓取方法:

　　通过在微信官方平台上引用文章界面来爬网第三方官方帐户文章聚合网站，并分析微信应用程序的界面以通过微信公众平台访问官方帐户文章，并通过第三方平台进行爬网，派对官方帐户文章汇总网站

　　微信公众号文章未提供外部搜索功能. 直到2013年，在微信对搜狗进行投资之后，搜狗搜索才访问了微信官方账户数据. 从那时起，您可以使用搜狗搜索浏览或查询相关的官方帐户和文章.

　　域名是:

　　

　　搜狗微信

　　您可以直接搜索官方帐户或文章的关键字，一些流行的官方帐户会及时更新，几乎与微信同步.

　　

　　官方帐户搜索

　　因此，您可以使用搜狗微信界面对一些流行的官方账户进行爬网，但是却无法搜索到某些利基官方账户，并且搜狗的反爬网机制更频繁地更新，并且获取数据的界面变化更快，通常会在两三个月内进行调整，这使得履带易于悬挂. 建议使用硒进行爬网. 此外，搜狗还对每个IP都有访问限制. 频率过高的IP的访问将被阻止24小时，您需要购买一个IP池来处理它.

　　还有一些其他公共帐户文章聚合网站（例如门户）未及时更新或未包括在内. 毕竟，搜狗的儿子不好. 通过微信公众平台引用文章界面

　　此界面是相对隐藏的，不能匿名访问. 必须有一个官方帐户. 最好注册一个新的官方帐户，以免被阻止.

　　让我们从特定步骤开始: 首先登录您的微信官方帐户，在您输入的主页上选择“创建群发”，然后单击自行创建的图形，然后在文章编辑工具栏中找到超链接，如下所示: 如下所示:

　　

　　单击超链接

　　单击超链接按钮，将弹出一个对话框，选择链接输入法以查找文章，如下所示:

　　

　　查找文章

　　您可以在此处输入官方帐户的名称，然后按Enter键，微信将返回匹配的官方帐户列表，如下所示:

　　

　　搜索官方帐户

　　然后单击您要获取的官方帐户，然后将显示特定文章的列表. 它已经按时间倒序排列，而最新的文章是第一篇. 如下图所示:

　　

　　文章列表

　　微信的传呼机制很奇怪. 每个官方帐户的每个页面上显示的数据项数量是不同的. 分页爬网时需要处理它.

　　通过chrome分析网络请求的数据，我们基本获得了所需的数据，文章链接，封面，发行日期，字幕等，如下所示:

　　

　　网络请求数据

　　好的，此爬网方法的原理已经完成，让我们开始实际的操作.

　　由于微信公众平台的登录验证比较严格，在输入密码后，手机必须扫描密码进行确认登录，因此最好使用硒进行自动化. 我不会列出特定微信界面的分析过程，而是直接发布代码:

　　import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

微信公众号文章爬虫

'''

def __init__(self):

# 微信公众号账号

self.account = '286394973@qq.com'

# 微信公众号密码

self.pwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriver.ChromeOptions()

# 禁用gpu加速，防止出一些未知bug

options.add_argument('--disable-gpu')

# 这里我用 chromedriver 作为 webdriver

# 可以去 http://chromedriver.chromium.org/downloads 下载你的chrome对应版本

self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)

# 设置一个隐性等待 5s

self.driver.implicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登录拿 cookies

'''

try:

self.create_driver()

# 访问微信公众平台

self.driver.get('https://mp.weixin.qq.com/')

# 等待网页加载完毕

time.sleep(3)

# 输入账号

self.driver.find_element_by_xpath("./*//input[@name='account']").clear()

self.driver.find_element_by_xpath("./*//input[@name='account']").send_keys(self.account)

# 输入密码

self.driver.find_element_by_xpath("./*//input[@name='password']").clear()

self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)

# 点击登录

self.driver.find_elements_by_class_name('btn_login')[0].click()

self.log("请拿手机扫码二维码登录公众号")

# 等待手机扫描

time.sleep(10)

self.log("登录成功")

# 获取cookies 然后保存到变量上，后面要用

self.cookies = dict([[x['name'], x['value']] for x in self.driver.get_cookies()])

except Exception as e:

traceback.print_exc()

finally:

# 退出 chorme

self.driver.quit()

def get_article(self, query=''):

try:

url = 'https://mp.weixin.qq.com'

# 设置headers

headers = {

"HOST": "mp.weixin.qq.com",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

}

# 登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

# 从这里获取token信息

response = requests.get(url=url, cookies=self.cookies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

time.sleep(2)

self.log('正在查询[ %s ]相关公众号' % query)

search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'

# 搜索微信公众号接口需要传入的参数，

# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

params = {

'action': 'search_biz',

'token': token,

'random': random.random(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'count': '5'

}

# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)

time.sleep(2)

# 取搜索结果中的第一个公众号

lists = response.json().get('list')[0]

# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = lists.get('fakeid')

nickname = lists.get('nickname')

# 微信公众号文章接口地址

search_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'

# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

params = {

'action': 'list_ex',

'token': token,

'random': random.random(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'type': '9'

}

self.log('正在查询公众号[ %s ]相关文章' % nickname)

# 打开搜索的微信公众号文章列表页

response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)

time.sleep(2)

for per in response.json().get('app_msg_list', []):

print('title ---> %s' % per.get('title'))

print('link ---> %s' % per.get('link'))

# print('cover ---> %s' % per.get('cover'))

except Exception as e:

traceback.print_exc()

if __name__ == '__main__':

spider = Spider()

spider.login()

spider.get_article('python')

　　该代码仅用于学习，不适用于分页查询.

　　根据网民的说法，该接口也有访问频率限制. 一天几百次不是问题. 如果访问速度太快或次数太多，它将被阻止24小时.