现在主流爬虫和技术方向是哪些？

　　现在网上关于爬虫方面的文章，大多都浮于表面，说来说去就这么几个东西，已经很久没有一些实质性的内容了。

　　感觉主流爬虫技术的发展和应用，应该还是在大厂内部，想讨教一下，现在大厂的主要研究方向和领域通常在哪？

　　大家说详尽了肯定也不现实，大体说个方向或思路就行，对于在一些小厂的人（比如我= 。 =）来说，有想精进技术的心，奈何抓不到方向也没有渠道去了解，特此来问问 V 友。

　　1.现在主流的爬虫方向是不是在 App 端？

　　2.针对 App 端的难点或则攻守的焦躁地带是否在证书验证以及 APP 包的加密与破解？

　　3.大厂对 2 上面的处理，是深陷了猫和老鼠的游戏还是有自己一套更底层 HOOk 的方式和框架（理解为通杀？）？

　　4.同理，web 端觉得主要的难点 Js 和验证码这一块爬虫技术，大厂是打断点一点点去调试剖析呢？还是直接加经费丢第三方呢？（尤其是针对拖 /点 /滑类型的验证码现今大厂都是如何处理的啊？）

　　图形验证码可以上机器学习并且复杂的 JS 呢？模拟还是破解？有哪些好的学习方法或路线图吗？

　　APP 端爬虫工作范围内接触较少，以前时常摆弄过，如果

　　1.APP 端深陷了反编译的猫捉老鼠的游戏

　　2.Web 端发展迈向了各类模拟爬虫技术，加机器的方向

　　那么在具有革命性的技术出现之前，是不是可以考虑把爬虫放一放转去学习其他东西，偶尔来看下出现了哪些新的东西就可以了？