搜狗微信改版了,无法通过搜索公众号名字获取对应文章

优采云 发布时间: 2021-08-06 19:08

  搜狗微信改版了,无法通过搜索公众号名字获取对应文章

  前言:一觉醒来发现原来的搜狗微信爬虫失败了。网上一搜发现搜狗微信的版本是10月29日改版的,搜索官方账号名无法得到对应的文章,但是通过搜索还是可以得到文章对应的主题,问题不大,开始吧!

  目的:获取搜狗微信搜索话题返回的文章。

  涉及防爬机制:cookie设置、js加密。

  转到主题。

  流程一:正常例行流程

  打开搜狗微信,在搜索框中输入“超人”。你在这里搜索的是与“超人”主题相关的各种公众号文章list

  按照正常的采集流程,按F12打开浏览器的开发者工具,使用选择工具点击列表中的文章标题,查看文章url在列表中的位置源代码中的list,也就是这个href的值,为了避免混淆,我们称之为“列表页的文章url”。

  可以看到“列表页的文章url”需要拼接。这种情况下,需要在浏览器中正常访问这个文章,并对比观察跳转后的url(我们称之为“真实文章url”),然后补上头足。如下是两个网址的对比:

  列表页上的文章url:

<p>/链接? URL = dn9a_-gY295K0Rci_xozVXfdMkSQTLW6cwJThYulHEtVjXrGTiVgSwqn5HZrcjUNFzn4G2S0Yt3MduzuCU92ulqXa8Fplpd9CqUiLuEm9hLLvBiu5ziMS196rgHYb-GzQfleG917OgwN_VAAdAZHKryCeU9lIxtWTKn*敏*感*词*csuPIjLhLEK3tbGSa3_pkMzadQg75Zhmxb9YI0psZvVepKtN4hpzQgtGa2iOlKKLwV_oxooGE6sxg1qinKxTb5VwJUcLBM1RgkzAPRtmyIGw2VAg ..&类型= 2&查询=%E5%92%B8%E8%9B%8B%E8%B6%85%E4%BA%BA&K = 92&H = Z

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线