百度网页关键字抓取(b/s架构的工作机制和方法和协议的区别)

　　百度网页关键字抓取(b/s架构的工作机制和方法和协议的区别)

　　百度网页关键字抓取是一种常见的网络爬虫技术，抓取网页的数据也是网站技术猿们常见的一种工作中的任务。目前，虽然爬虫技术已经成为攻破xx之入侵窃xx，探索通过xx入侵xx的利器，但是对于很多没有实力没有技术的小白来说，是很难实现对这种技术的理解和应用的。今天小编就要给大家介绍一下b/s架构和c/s架构的工作机制和方法。

　　c/s架构和b/s架构的区别本文介绍的工作机制，在近期处理的案例和网络服务上，我们也都会采用c/s架构。接下来我们要介绍一下b/s架构。b/s架构其实与c/s架构的机制和协议是基本一致的，唯一区别就是不同网站采用的是不同的b/s架构。b/s架构b/s架构利用计算机网络协议中一种针对bit表事务的数据结构as来代替非关系数据库，这样使用户查询数据库的数据的时候只需要操作一对bit，而不需要数据库在业务上完成多对多的关系查询。

　　这样的b/s结构是典型的分布式文件系统(dht)模式。通常在网络协议的设计之初，会给业务提供相应的操作语言。而传统的b/s架构就是传统的b/s(browser-sidehandle/event-sidehandle)模式，其本质上是将browser和eventsidewrite之间实现等价的，只是用户需要操作的是browser和eventsideelement，然后eventsidesender根据数据的大小给予结果返回。

　　下面我们简单介绍几个不同分布式文件系统(dht)协议的数据传输方式：1.raida(单点登录协议)：按照分区来实现文件系统的区域化管理，保证了文件的单点可读，但是性能会明显低于raid3.snapshot：snapshot在分区数据中做数据归档处理，在网络io可读的情况下，snapshot能保证数据传输的一致性，但是对于数据的读取速度比较慢。

　　csv和python的redis都是采用的这种方式。2.multicast：c++虚拟网络c++组建internetworknetwork，这种方式在ip路由，端口管理，服务数据管理等方面都很方便，性能也很好。采用虚拟网络的好处是能确保端口的同时连接与负载均衡。ip的一致性是internet无需重复发起所有连接的最低要求。

　　3.文件io复制（ffi）：ffi文件io复制能够保证文件的数据同步读写，但是其实际的效果并不好，其最大的问题是将raid的总带宽利用率降低，尤其是在多机架构的情况下。4.分布式http：使用双随机重试（dht）机制，能够在当总数大于连接数量的时候，保证请求的高可用性，但是会影响当发生瓶颈时在多请求同时发生的情况下的性能和服务的健壮性。c++实现比较复杂。分布式文件系统(dht)相关架构，需要一个工作站，dht中也有。