集搜客网页抓取软件(“另类”角度²反向调研：通过待资源主要调研)

　　集搜客网页抓取软件(“另类”角度²反向调研：通过待资源主要调研)

　　“另类”角度

　　² 逆向研究：通过资源利用网站的主要领域，研究采集一些优质标的。

　　² 下载时不要只关注“直接”网站，还要采集和发现“间接”（间接：包括直接的网站内容）网站（维基百科）等百科网站，以后继续积累），因为“直接”网站可能由于版权或其他原因数据不全。

　　² 学会如何选择优质的下载源，这对于爬虫攻城狮来说非常重要；其中，不同下载源和不同分类资源的比例是一个不错的选择。

　　² 没有最好的方式，只有最好的（最合适的）方式。

　　下载新认知

　　需求方提供的具体下载入口只是我们一开始展示的媒介；只有当爬虫攻城狮分析任务（网页、PC应用、APP）等表现形式后，才能确定爬取具体表现形式。

　　下载idea级别（从补充和完善需求提出者和爬虫开发者的角度）。

　　² 普通人的思维（需求者直接下达的任务，直接做）。

　　² 采用上述1的思路。

　　² 考虑像 网站 这样的东西是否更好。

　　² 自带学说（百度网盘等）。

　　² 还有其他思路，需要继续拓展。

　　在工作和学习中完善您的知识网络

　　² 知识网=点（单个知识）+点之间的连接（知识之间的关系）。

　　² 扩展各自的知识点和彼此之间的联系。

　　二维

　　这两个维度是：

　　² 横向维度：PC页面、PC（windows和Apple）客户端、手机（android和iPhone）app、wap页面等。

　　² 垂直尺寸：版本从高到低

　　apk和浏览器的区别总结：

　　Ø 无论是浏览器还是apk，下载网站后，爬虫工程师应该比请求者更了解这个网站（包括：这个网站数据展示媒体，网站@ > 背景，网站的组织架构和未来发展等）更加全面和深刻；因为只有这样，爬虫工程师才能有效地引导请求者，以更高效、更全面、更优质的方式完成下载任务。

　　Ø 使用低版本apk时，可获取所需数据或满足下载要求。这时候不能简单的满足下载需求，而是要把apk中所有可用的接口请求都记录下来下载；可能这个低版本的apk 在未来的某个时候，这个网站 将不被支持（例如：网易云音乐apk2.2）.

　　Ø 在开始解决下载任务时，必须知道是从浏览器、PC客户端还是Android APK分析下载；因为主要有两个区别：

　　分析如何获取有效的网络请求

　　解析请求URL的几种场景：

　　Ø 可以直接通过URL请求获取想要的内容。

　　Ø 有些通过URL请求的字段数据需要通过解析js或者异步加载。

　　Ø 一些URL请求的参数构造困难，构造成本比较高，或者目前的能力无法解决；在这种情况下，可以使用以下方法：

　　获得解决方案的途径：

　　Ø 自己分析请求URL

　　Ø 从寻找现成的下载方案，[开源网站:知乎, github, bitbucket, Google Code]

　　Ø 查询现成的下载工具

　　Ø 网盘资源，百度网盘，“使用主义”，构建海量数据，值得花很多时间去实现

　　Ø 以上方法的集合

　　伪装成 WAP 请求

　　玩过爬虫的朋友应该都知道爬虫难度是：www>m>wap（www是PC端，m和wap是移动端，目前智能手机普遍使用m站，部分老款手机还在使用wap)，原因也很简单。现在网站越来越多的使用AJAX来加载，反爬机制也很强大。另一方面，wap网站等移动端限制比较小，网页结构也比较简单。我们获取和解析要简单得多，理论上速度会快很多。所以如果允许的话，我们尝试使用wap站来爬取。

　　修改浏览器的User-Agent伪装成移动终端，从而像移动浏览器网站一样访问目标。爬虫程序自带不同的User-Agent，可以从m端（甚至wap端）爬取目标网站。

　　修改浏览器ua的方法有两种：

　　Ø 用户代理切换器插件。

　　Ø 直接修改浏览器的User-Agent。

　　所以在工作中建立你自己的用户代理池。