querylist采集微信公众号文章(每天更新视频:熊孩子和萌宠搞笑视频,笑声不断快乐常伴 )

优采云 发布时间: 2022-02-08 22:10

  querylist采集微信公众号文章(每天更新视频:熊孩子和萌宠搞笑视频,笑声不断快乐常伴

)

  每天更新视频:熊孩子的日常生活,萌宠的日常生活,熊孩子和萌宠的搞笑视频,笑声不断伴随着快乐!

  获取公众号信息

  标题、摘要、封面、文章URL

  脚步:

  1、先申请公众号

  2、登录您的帐户,创建一个新的文章 图形,然后单击超链接

  

  3、弹出搜索框,搜索你需要的公众号,查看历史记录文章

  

  

  4、通过抓包获取信息,定位到请求的url

  

  通过查看信息,我们找到了我们需要的关键内容:title、abstract、cover 和 文章 URL,并确定这就是我们需要的 URL。通过点击下一页,多次获取url,发现只有random和bengin的参数变化

  

  所以主要信息URL是可以的。

  那么让我们开始吧:

  原来我们需要修改的参数是:token、random、cookie

  这两个值的来源,可以得到url

  # -*- coding: utf-8 -*-

import re

import requests

import jsonpath

import json

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",

"Host": "mp.weixin.qq.com",

"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",

"Cookie": "自己获取信息时的cookie"

}

def getInfo():

for i in range(80):

# token random 需要要自己的 begin:参数传入

url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

response = requests.get(url, headers = headers)

jsonRes = response.json()

titleList = jsonpath.jsonpath(jsonRes, "$..title")

coverList = jsonpath.jsonpath(jsonRes, "$..cover")

urlList = jsonpath.jsonpath(jsonRes, "$..link")

# 遍历 构造可存储字符串

for index in range(len(titleList)):

title = titleList[index]

cover = coverList[index]

url = urlList[index]

scvStr = "%s,%s, %s,\n" % (title, cover, url)

with open("info.csv", "a+", encoding="gbk", newline='') as f:

f.write(scvStr)

  得到结果(成功):

  

  获取 文章 里面的视频

  实现批量下载通过分​​析单个视频文章,找到了这个链接:

  

  打开网页找到,也就是视频的网页下载链接:

  

  

  嘿嘿,好像有点意思。找到了视频网页的纯下载链接,开始吧。

  我发现链接中有一个关键参数vid。我不知道它是从哪里来的?

  与获取的其他信息无关,只能强制。

  该参数在单文章的url请求信息中找到,然后获取。

  response = requests.get(url_wxv, headers=headers)

# 我用的是正则,也可以使用xpath

jsonRes = response.text # 匹配:wxv_1105179750743556096

dirRe = r"wxv_.{19}"

result = re.search(dirRe, jsonRes)

wxv = result.group(0)

print(wxv)

  视频下载:

  def getVideo(video_title, url_wxv):

video_path = './videoFiles/' + video_title + ".mp4"

# 页面可下载形式

video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv

response = requests.get(video_url_temp, headers=headers)

content = response.content.decode()

content = json.loads(content)

url_info = content.get("url_info")

video_url2 = url_info[0].get("url")

print(video_url2)

# 请求要下载的url地址

html = requests.get(video_url2)

# content返回的是bytes型也就是二进制的数据。

html = html.content

with open(video_path, 'wb') as f:

f.write(html)

  然后所有的信息都完成了,代码就组装好了。

  一个。获取公众号信息

  湾。筛选单个文章信息

  C。获取视频信息

  d。拼接视频页面下载地址

  e. 下载视频并保存

  代码实验结果:

  

  

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线