干货教程:50行Python代码,教你获取公众号全部文章

优采云 发布时间: 2022-11-28 09:46

  干货教程:50行Python代码,教你获取公众号全部文章

  爬取公众号有两种常见的方式

  通过搜狗搜索获取,缺点是只能获取最新的十篇推送文章

  通过微信公众号的素材管理,获取公众号的文章。缺点是需要申请自己的公众号。

  今天介绍一种PC端微信抓包获取公众号文章的方法。与其他方法相比非常方便。

  如上图,我们通过抓包工具获取了微信的网络信息请求,发现每次下拉刷新文章都会请求/mp/xxx(公众号不允许添加主页链接,xxx表示profile_ext)这个界面。

  经过多次测试和分析,使用了以下参数

  数据如下

  {

"ret": 0,

"errmsg": "ok", # 请求状态

"msg_count": 10, # 信息条数

"can_msg_continue": 1, # 是否还可以继续获取,1代表可以。0代表不可以,也就是最后一页

"general_msg_list": "{"list":[]}", # 公众号文本信息

"next_offset": 20,

"video_count": 1,

"use_video_tab": 1,

"real_type": 0,

"home_page_list": []

}

  部分代码如下

   params = {

'__biz': biz,

'uin': uin,

'key': key,

'offset': offset,

'count': count,

'action': 'getmsg',

'f': 'json'

}

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'

}

response = requests.get(url=url, params=params, headers=headers)

resp_json = response.json()

if resp_json.get('errmsg') == 'ok':

resp_json = response.json()

# 是否还有分页数据, 用于判断return的值

<p>

" />

can_msg_continue = resp_json['can_msg_continue']

# 当前分页文章数

msg_count = resp_json['msg_count']

general_msg_list = json.loads(resp_json['general_msg_list'])

list = general_msg_list.get('list')

print(list, "**************")

</p>

  最终打印出来的列表就是公众号的文章信息详情。包括标题(titile)、摘要(digest)、文章地址(content_url)、阅读原文地址(source_url)、封面图片(cover)、作者(author)等...

  输出如下:

  [{

"comm_msg_info": {

"id": 1000000038,

"type": 49,

"datetime": 1560474000,

"fakeid": "3881067844",

"status": 2,

"content": ""

},

"app_msg_ext_info": {

"title": "入门爬虫,这一篇就够了!!!",

"digest": "入门爬虫,这一篇就够了!!!",

"content": "",

"fileid": 0,

"content_url": "http:XXXXXX",

"source_url": "",

"cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow\\/0?wx_fmt=jpeg",

"subtype": 9,

"is_multi": 0,

"multi_app_msg_item_list": [],

"author": "Python3X",

"copyright_stat": 11,

"duration": 0,

"del_flag": 1,

"item_show_type": 0,

"audio_fileid": 0,

"play_url": "",

"malicious_title_reason_id": 0,

"malicious_content_type": 0

}

},{...},{...},{...},{...},{...},{...},{...},{...},{...}]

  

" />

  获取数据后,可以将其保存在数据库中,也可以将文章保存为 PDF 格式。

  1.保存在Mongo

  # Mongo配置

conn = MongoClient('127.0.0.1', 27017)

db = conn.wx #连接wx数据库,没有则自动创建

mongo_wx = db.article #使用article集合,没有则自动创建

for i in list:

app_msg_ext_info = i['app_msg_ext_info']

# 标题

title = app_msg_ext_info['title']

# 文章地址

content_url = app_msg_ext_info['content_url']

# 封面图

cover = app_msg_ext_info['cover']

# 发布时间

datetime = i['comm_msg_info']['datetime']

datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

mongo_wx.insert({

'title': title,

'content_url': content_url,

'cover': cover,

'datetime': datetime

})

  结果如下

  2.导入PDF文件

  Python3中常用的PDF操作库有python-pdf和pdfkit。我使用 pdfkit 模块导出 pdf 文件。

  pdfkit是工具包Wkhtmltopdf的封装类,所以需要先安装Wkhtmltopdf才能使用。

  可以参观

  下载与您的操作系统相匹配的工具包。

  实现代码也比较简单,只需要传入导入文件的url即可。

  安装 pdfkit 库

  pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

  import pdfkit

pdfkit.from_url('公众号文章地址', 'out.pdf')

  运行后,pdf文件导出成功。

  推荐文章:伪原创的文章是什么(原创伪原创的意思)

  本文阅读提示:原创和伪原创的含义,伪原创文章是什么意思,哪里可以找到伪原创的文章

  什么是伪原创文章?原创文章对用户来说是非常重要的,因为搜索引擎对原创文章的权重比较高,而且仍然占据着搜索引擎的索引库。很多人不知道怎么改原创文章,内容质量对搜索引擎来说很重要,

  如果使用伪原创软件,伪原创文章在搜索引擎中是否原创,是不能满足用户需求的。下面文芳阁就给大家介绍什么是伪原创,如何写伪原创文章,如何写才符合标准。转载文章需要更高的标准,这也是SEO优化的重要一环。

  文章中写伪原创文章的具体内容应按以下方式完成:

  1.找原文拼凑文章

  

" />

  找到原文并适当修改

  找到原文,排版完成修改。

  2.首尾呼应,建议在文章首段添加收录

关键词的简短摘要,以配合文章结尾。

  3.重新排列段落

  我们只需要改变文章中段落的顺序,或者改变段落中句子的顺序,但一定要保证整篇文章,整段思路合理,文笔流畅。我们通常混合使用这两种方法。当然,使用这种方法的前提是在不改变文章内容可读性的前提下,改变某些段落的顺序。

  4.将多篇文章合二为一

  

" />

  这种方法可能是最常用也是最有效的方法,但是我们需要花更多的时间去寻找相关的文章,然后再把它们重新组合起来。一般来说,在三到五篇相关文章中,每节截取1-2段,然后重新组合成一篇新文章。

  5.关键词和位置的替换

  伪原创时,我们必须修改关键词。毕竟别人的文章关键词都是根据别人网站的主题提炼出来的。虽然有时两个网站的主题相同,但需要适当修改和替换,一个匹配度高、精准度高的关键词往往能抓住更精准的用户。我们不仅要修改和替换关键词,还要替换关键词的位置,让文章更收录

我们的想法,更符合我们的网站。

  六、文章标题的修改和替换

  替换文章标题是伪原创文章的重点。我们可以对原标题进行适当的修改,但注意不要影响

  相关文章

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线