querylist采集微信公众号文章(每天更新视频:熊孩子和萌宠搞笑视频,笑声不断快乐常伴 )
优采云 发布时间: 2022-02-08 22:10querylist采集微信公众号文章(每天更新视频:熊孩子和萌宠搞笑视频,笑声不断快乐常伴
)
每天更新视频:熊孩子的日常生活,萌宠的日常生活,熊孩子和萌宠的搞笑视频,笑声不断伴随着快乐!
获取公众号信息
标题、摘要、封面、文章URL
脚步:
1、先申请公众号
2、登录您的帐户,创建一个新的文章 图形,然后单击超链接
3、弹出搜索框,搜索你需要的公众号,查看历史记录文章
4、通过抓包获取信息,定位到请求的url
通过查看信息,我们找到了我们需要的关键内容:title、abstract、cover 和 文章 URL,并确定这就是我们需要的 URL。通过点击下一页,多次获取url,发现只有random和bengin的参数变化
所以主要信息URL是可以的。
那么让我们开始吧:
原来我们需要修改的参数是:token、random、cookie
这两个值的来源,可以得到url
# -*- coding: utf-8 -*-
import re
import requests
import jsonpath
import json
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Host": "mp.weixin.qq.com",
"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",
"Cookie": "自己获取信息时的cookie"
}
def getInfo():
for i in range(80):
# token random 需要要自己的 begin:参数传入
url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))
response = requests.get(url, headers = headers)
jsonRes = response.json()
titleList = jsonpath.jsonpath(jsonRes, "$..title")
coverList = jsonpath.jsonpath(jsonRes, "$..cover")
urlList = jsonpath.jsonpath(jsonRes, "$..link")
# 遍历 构造可存储字符串
for index in range(len(titleList)):
title = titleList[index]
cover = coverList[index]
url = urlList[index]
scvStr = "%s,%s, %s,\n" % (title, cover, url)
with open("info.csv", "a+", encoding="gbk", newline='') as f:
f.write(scvStr)
得到结果(成功):
获取 文章 里面的视频
实现批量下载通过分析单个视频文章,找到了这个链接:
打开网页找到,也就是视频的网页下载链接:
嘿嘿,好像有点意思。找到了视频网页的纯下载链接,开始吧。
我发现链接中有一个关键参数vid。我不知道它是从哪里来的?
与获取的其他信息无关,只能强制。
该参数在单文章的url请求信息中找到,然后获取。
response = requests.get(url_wxv, headers=headers)
# 我用的是正则,也可以使用xpath
jsonRes = response.text # 匹配:wxv_1105179750743556096
dirRe = r"wxv_.{19}"
result = re.search(dirRe, jsonRes)
wxv = result.group(0)
print(wxv)
视频下载:
def getVideo(video_title, url_wxv):
video_path = './videoFiles/' + video_title + ".mp4"
# 页面可下载形式
video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv
response = requests.get(video_url_temp, headers=headers)
content = response.content.decode()
content = json.loads(content)
url_info = content.get("url_info")
video_url2 = url_info[0].get("url")
print(video_url2)
# 请求要下载的url地址
html = requests.get(video_url2)
# content返回的是bytes型也就是二进制的数据。
html = html.content
with open(video_path, 'wb') as f:
f.write(html)
然后所有的信息都完成了,代码就组装好了。
一个。获取公众号信息
湾。筛选单个文章信息
C。获取视频信息
d。拼接视频页面下载地址
e. 下载视频并保存
代码实验结果: