网页抓取qq(移动端的页面的*敏*感*词*是flash，还是图片居然统统没有验证)

　　网页抓取qq(移动端的页面的*敏*感*词*是flash，还是图片居然统统没有验证)

　　页面上的*敏*感*词*

　　都在闪存中，巧合的是，我发现我可以在 ipad 上阅读它们（iOS 没有闪存）。所以当curl -vH "User-Agent: $ipadUA" 请求时，发现有302跳转，指向，然后用浏览器访问，发现跳转到了移动端的页面。这个页面没有flash，所以也有后面提交的代码。 ，修改ipad的UA，直接请求/xxxxx等地址，会跳转到/xxx/xxx/id等地址，然后可以使用id参数解析。但是/cf的地址是不能跳转的，所以只能判断，有规律的判断跳转后的URL。

　　所以我决定停止使用移动端的地址下载*敏*感*词*。发现页面上的*敏*感*词*是用js生成的。我把url规则和firebug捕获的页面请求的json对比了一下，发现虽然生成了js，但是规则其实很容易做，没有太复杂的加密过程。于是看到代码里奇怪的j,k,m，就是js的函数改写成python版本，连变量名都没改。

　　顺便投诉一下腾讯，VIP付费*敏*感*词*只在前端页面验证，而后端请求的JSON API和图片URL没有验证，所以你可以下载VIP-直接付费*敏*感*词*。

　　命令行版本快完成了，增加了下载指定章节的功能。这周我会尝试写一个简单的 GUI。