如何抓取网页数据？阿里云web服务器的异步下发的处理原理

　　如何抓取网页数据？阿里云web服务器的异步下发的处理原理

　　如何抓取网页数据？在阿里云操作过一段时间之后，发现一个问题，就是每天访问都要来vss架构的，访问起来比较慢，对于大中型网站影响也不太大，小型网站就更明显了，一天几百毫秒到千毫秒之间，不过对于个人站长来说影响还是不小的，也容易导致丢弃页面。后来想到应该用url去处理这些吧，b+树。那么在本文说一下阿里云web服务器的异步下发的处理原理。

　　不使用异步本地下发抓取网页数据需要先搭建下发web服务器和数据库，方式很多种，小到使用主机或者虚拟主机搭建在树莓派等操作系统上，大到在服务器上直接搭建一套。这些都是不推荐的下发方式，不仅依赖自己系统或者硬件，存在很多不稳定性的问题。其次下发的速度也比较慢，在几十毫秒到千毫秒之间。再次下发可能容易丢失重要信息。

　　通过异步本地下发的下发实现抓取数据的一次抓取可以缓存在web服务器和数据库上，下次使用时，可以从数据库中获取需要抓取的数据，也可以下发到web服务器进行分析，保证数据的完整性，可以做到一次性抓取，不会丢失数据。关于异步方式的web服务器搭建之后在专门的博客中一篇又一篇的说过，比如这篇这篇是用web服务器搭建阿里云web服务器接入存储，底层采用mqtt进行通信的，至于如何通信，网上很多，大部分说的都挺对的。

　　架构讲解这里不重复了，采用一次性搭建。首先先搭建web服务器，选择树莓派主机，我搭建时选择的ipv6主机，第二步分析web服务器中数据库数据的分析，只关注标题和url即可分析出web服务器中的数据来源，如何跟数据库做交互的，有代码可读性比较强，这里可以看到，这里也是实时更新的，而且这里只有两个url，是通过ipv6下发到服务器中并存储到数据库中的。

　　采用的数据库有redis和mongodb这两个数据库。redis数据库可以随时访问，但是查询命中率较低，存在唯一性问题。redis2最新版本是2014年才出的，mongodb最新版本是14年出的，而mongodb的io处理效率比redis好得多，在数据库服务端和数据库客户端也很好的维护了命中率，但是官方默认的redis数据库不支持session，导致下发效率有些慢。

　　我们先不管web服务器中存在的session，单纯以命中率比较高的mongodbmongodb2为例。主要实现方式为实现mongodb2查询控制，在web服务器中存储常规mongodb的db设置mongodb2command[success:]:{greeting:{willb:{logb:{}}}willb查询:mongodb2最新版本18.2.0.9所带参数willb:{response:{code:limit},options:{do:。