网页中flash数据抓取(网页中flash数据抓取要实现的功能就是获取请求)

　　网页中flash数据抓取(网页中flash数据抓取要实现的功能就是获取请求)

　　网页中flash数据抓取要实现的功能就是获取请求的headers，如果没有flash的话，无法抓取对应的headers对应数据。//javascript提取headers数据importrequestsfromrequests.exceptionsimporthttp_http_serverresponse=requests.get('')response.text由于网页内部的动态加载url,这个网址提取headers中的data方法，有的可能反应不出来，要是能成功反应出来就能抓取对应的headers值。

　　内容比较多的网站，建议对headers和cookies做过滤后再提取，

　　我写了一篇使用requests抓取豆瓣电影top250的文章，里面的步骤都有，

　　post参数设置问题，比如获取时需要同时提交微信账号和movieid，可以考虑提交movieid，或者是先返回movieid，有了movieid之后再用get重新抓取。

　　作为研究人员也去做了个小项目，大概有以下步骤：1，登录豆瓣，找到个人页面的id，或者你自己的visa代码，会返回给你。2，上传文件，包括id的图片，然后解析图片数据，获取图片名称、标签、url地址等信息。3，如果是带着movieid的图片返回给你，那么图片名称是不会返回给你的，可以用id枚举法查找。4，如果有tag，那么查找所有tag的id，会返回给你。