干货内容:Python入门学习教程:50行Python代码,教你获取公众号全部文章

优采云 发布时间: 2020-08-31 16:07

  Python入门学习教程: 50行Python代码,教您获得所有正式帐户的文章

  今天的Python入门学习教程主要告诉您如何获取官方帐户的所有文章!

  在阅读官方帐户的文章时,我们通常会遇到一个问题-阅读历史文章的经验不好.

  我们知道,有两种常见的爬网官方帐户的方法: 通过搜狗搜索获得它. 缺点是只能获取最新的十篇文章. 通过微信官方账号的物料管理获取官方账号. 缺点是您需要申请自己的官方帐户.

  

  今天,我们将介绍一种通过在PC端捕获微信来获取官方帐户文章的方法. 与其他方法相比,它非常方便.

  

  

  如上图所示,我们通过数据包捕获工具获得了微信网络信息请求. 我们发现,每次下拉列表中的文章时,我们都会请求/ mp / xxx(官方帐户不允许添加首页链接,xxx表示profile_ext).

  经过多次测试和分析,使用了以下参数

  数据如下

  {

"ret": 0,

"errmsg": "ok", # 请求状态

"msg_count": 10, # 信息条数

"can_msg_continue": 1, # 是否还可以继续获取,1代表可以。0代表不可以,也就是最后一页

"general_msg_list": "{"list":[]}", # 公众号文本信息

"next_offset": 20,

"video_count": 1,

"use_video_tab": 1,

"real_type": 0,

"home_page_list": []

}

  部分代码如下

   params = {

'__biz': biz,

'uin': uin,

'key': key,

'offset': offset,

'count': count,

'action': 'getmsg',

'f': 'json'

}

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'

}

response = requests.get(url=url, params=params, headers=headers)

resp_json = response.json()

if resp_json.get('errmsg') == 'ok':

resp_json = response.json()

# 是否还有分页数据, 用于判断return的值

can_msg_continue = resp_json['can_msg_continue']

# 当前分页文章数

msg_count = resp_json['msg_count']

general_msg_list = json.loads(resp_json['general_msg_list'])

list = general_msg_list.get('list')

print(list, "**************")

  最后打印的列表是官方帐户的文章信息详细信息. 包括标题(标题),摘要(摘要),文章地址(content_url),阅读源地址(source_url),封面图像(封面),作者(作者)等...

  输出结果如下:

  [{

"comm_msg_info": {

"id": 1000000038,

"type": 49,

"datetime": 1560474000,

"fakeid": "3881067844",

"status": 2,

"content": ""

},

"app_msg_ext_info": {

"title": "入门爬虫,这一篇就够了!!!",

"digest": "入门爬虫,这一篇就够了!!!",

"content": "",

"fileid": 0,

"content_url": "http:XXXXXX",

"source_url": "",

"cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow\\/0?wx_fmt=jpeg",

"subtype": 9,

"is_multi": 0,

"multi_app_msg_item_list": [],

"author": "Python3X",

"copyright_stat": 11,

"duration": 0,

"del_flag": 1,

"item_show_type": 0,

"audio_fileid": 0,

"play_url": "",

"malicious_title_reason_id": 0,

"malicious_content_type": 0

}

},{...},{...},{...},{...},{...},{...},{...},{...},{...}]

  获取数据后,可以将其保存在数据库中或将文章保存在PDF中.

  1,保存在Mongo中

  # Mongo配置

conn = MongoClient('127.0.0.1', 27017)

db = conn.wx #连接wx数据库,没有则自动创建

mongo_wx = db.article #使用article集合,没有则自动创建

for i in list:

app_msg_ext_info = i['app_msg_ext_info']

# 标题

title = app_msg_ext_info['title']

# 文章地址

content_url = app_msg_ext_info['content_url']

# 封面图

cover = app_msg_ext_info['cover']

# 发布时间

datetime = i['comm_msg_info']['datetime']

datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

mongo_wx.insert({

'title': title,

'content_url': content_url,

'cover': cover,

'datetime': datetime

})

  结果如下

  

  2. 导入PDF文件

  在Python3中处理PDF的常用库包括python-pdf和pdfkit. 我使用pdfkit模块导出pdf文件.

  pdfkit是Wkhtmltopdf工具包的软件包类,因此需要安装Wkhtmltopdf才能使用它.

  有权下载与操作系统匹配的工具包.

  

  实现代码也相对简单,只需要传入导入文件的URL即可.

  安装pdfkit库

  pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

  import pdfkit

pdfkit.from_url('公众号文章地址', 'out.pdf')

  运行后成功导出pdf文件.

  

  完整代码

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线