java爬虫抓取网页数据(java程序员必须掌握的HTTP流程和常见的下载类库)

　　java爬虫抓取网页数据(java程序员必须掌握的HTTP流程和常见的下载类库)

　　1、入门

　　首先，使用Java搞爬虫。当然，你必须学习Java的基础知识。什么循环/顺序/条件是基础，还有多线程、IO（同步/异步/阻塞/非阻塞）等等。然后是爬虫的基础。HttpClient（现在应该叫HttpComponents）是java中最常用的下载库。最好熟悉它。如果可能，请转到 HTTP 协议。如果精力不够，了解最基本的HTTP流程和常见的Status Code也可以；另外，你要了解一点html/js，还要了解xml/json。您不应该对要抓取的内容结构感到陌生。需要用到那些解析工具库，jackson、gson、Xrece、jsoup等等你喜欢用哪个，小学和中学没有区别；还有一个常用的处理文本的正则表达式，这个最好非常熟悉，很多时候html中的文本表面上似乎没有结构化的形式，但是正则表达式往往可以让你眼前一亮。最后，一定要善用chrome/firefox等浏览器及其带来的调试工具，才能事半功倍。基本上，点击这些技巧后，还可以抓取大量静态或动态的站点数据。一定要善用chrome/firefox等浏览器及其带来的调试工具，才能事半功倍。基本上，点击这些技巧后，还可以抓取大量静态或动态的站点数据。一定要善用chrome/firefox等浏览器及其带来的调试工具，才能事半功倍。基本上，点击这些技巧后，还可以抓取大量静态或动态的站点数据。

　　2、高级

　　1）我经常遇到一些网站，比如微博/贴吧/论坛，需要用户登录才能查看数据。如果要捕获他们的数据，则需要模拟用户登录。互联网上也有很多。相关资料基本获取。对应的c1ookie基本就得到了。在下一次请求中带上这个授权的 cookie 是可以的。如果真的很复杂，只能考虑phantomjs或者chrome no headless等无GUI浏览。设备模拟登录获取数据。

　　2） 反爬虫，我经常遇到网站提示输入验证码，或者频繁访问等。其实网站设计者不希望这种无意义的访问发生，消耗自己的资源。因此，如果有爬虫，就会有反爬虫。爬。应对反爬需要看反爬网站的反爬策略，根据对方的反爬策略采取有针对性的对策，一般是添加代理、控制访问频率、设置认证cookie等，仅此而已。

　　3）识别算法，现代网站越来越多，不可能一一开发爬虫。这需要大量的人力和物力。对于程序员来说，最宝贵的就是时间。站点一般有新闻/论坛/视频/直播等类别，每种类型的站点都有其对应的特点。新闻网站的特点更加明显。每个新闻站点都非常相似，都出现了长文本。html和对应的dom结构树，所以有一些通用的提取算法可以用来提取新闻数据。有兴趣的可以去看看。目前这样的算法很多，识别率和准确率都比较好。对于论坛等网站的提取算法，可以*敏*感*词*使用的成熟的并不多。有兴趣的可以找到相应的论文。

　　3、高级

　　抓取数据后，您需要进行处理/分析。否则，将无缘无故地捕获数据。您只想感受下车的快感吗？没有ddos的人直接来的快（千万别这样），如果数据量小我们可以存储一些关系型数据库，比如MySQL/PostgreSQL等，但是有一天我们的数据量会积累的越来越多，然后我们会发现原来的关系型数据库的数据量是1亿（甚至更少）。我们根本hold不住。这时候就要考虑我们要如何存储我们的数据，是扩展原有的关系存储，还是迁移到NoSQL数据库，是持久化，还是实时放到MQ（消息队列）中去处理它，这些必须根据实际业务场景应用，您可以了解相关的可能的存储解决方案。另外，业务系统太大。在很多情况下，我们不能等到爬虫任务完成才发现问题。比如网站改版了，其中网站加强了反爬虫。这需要我们及时响应。最好使用日志系统。实时分析数据，现在ELK是标配