动态网页抓取( 微信朋友圈的数据入口搞定了，获取外链。(图))

　　动态网页抓取(

微信朋友圈的数据入口搞定了，获取外链。(图))

　　

　　2、之后，在首页点击【创建图书】-->【微信相册】。

　　

　　3、点击【开始制作】-->【添加随机指定的图书编辑为好友】，长按二维码即可添加好友。

　　4、 耐心等待微信的后续制作。完成后，您将收到编辑器的消息提醒，如下图所示。

　　至此，我们已经完成了微信朋友圈的数据录入，并获得了外链。

　　确保朋友圈设置为【全开】，默认全开，不知道怎么设置的请自行百度。

　　

　　5、点击外部链接，然后进入网页，需要使用微信扫码授权登录。

　　6、扫码授权，即可进入网页版微信，如下图。

　　

　　7、 然后我们就可以写一个爬虫程序正常抓取信息了。这里，编辑器使用Scrapy爬虫框架，Python使用版本3，集成开发环境使用Pycharm。下图为微信首页，图片由编辑定制。

　　

　　二、创建爬虫项目

　　1、 确保您的计算机上安装了 Scrapy。然后选择一个文件夹，在该文件夹下输入命令行，输入执行命令：

　　scrapy startproject weixin_moment

　　，等待Scrapy爬虫项目生成。

　　2、在命令行输入cd weixin_moment，进入创建好的weixin_moment目录。然后输入命令：

　　scrapy genspider 'moment' 'chushu.la'

　　，创建朋友圈爬虫，如下图。

　　

　　3、执行以上两步后的文件夹结构如下：

　　

　　三、分析网页数据

　　1、进入微信首页，按F12，建议使用谷歌浏览器，查看元素，点击“网络”标签，然后勾选“保存日志”，即保存日志，如下图所示。可以看到首页的请求方法是get，返回的状态码是200，表示请求成功。

　　

　　2、点击“Response”（服务器响应），可以看到系统返回的数据是JSON格式的。说明我们需要在程序中处理JSON格式的数据。

　　

　　3、点击微信本的“导航”窗口，可以看到数据按月加载。当导航按钮被点击时，它会加载相应月份的 Moments 数据。

　　

　　4、点击[2014/04]月，然后查看服务器响应数据，可以看到页面显示的数据与服务器响应对应。

　　

　　5、查看请求方法，可以看到此时的请求方法已经变成了POST。细心的小伙伴可以看到，点击“下个月”或其他导航月份时，首页的网址没有变化，说明该网页是动态加载的。对比多个网页请求后，我们可以看到“Request Payload”下的数据包参数在不断变化，如下图所示。

　　

　　6、展开服务器响应数据，将数据放入JSON在线解析器中，如下图：

　　

　　可以看到朋友圈的数据存放在paras /data节点下。

　　至此，网页分析和数据来源已确定。接下来，我将编写一个程序来捕获数据。请期待下一篇文章~~