chrome 插件 抓取网页qq聊天记录(UA介绍头条搜索的爬虫网页的应用)

　　chrome 插件 抓取网页qq聊天记录(UA介绍头条搜索的爬虫网页的应用)

　　今日头条搜索UA简介

　　今日头条搜索的爬虫UA是大写字母“Bytespider”。

　　例如：

　　例如：Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36

(KHTML,like Gecko)Chrome/41.0.6633.1032 Mobile Safari/537.36;Bytespider;

https://zhanzhang.toutiao.com

　　今日头条搜索ip字段介绍

　　头条搜索一共涉及6个ip字段，具体字段如下：

　　110.249.201.0/24

110.249.202.0/24

111.225.148.0/24

111.225.149.0/24

220.243.135.0/24

220.243.136.0/24

　　基本流程

　　1. 爬网。每个独立的搜索引擎都有自己的网络爬虫爬虫（Spider）。爬虫跟随网页中的超链接，从这个网站爬到另一个网站，通过超链接分析不断的访问和爬取更多的网页。抓取的网页称为网页快照。由于超链接在互联网中的应用非常普遍，理论上，大部分网页都可以从一定范围的网页中采集。

　　2.处理网页。搜索引擎抓取网页后，需要进行大量的预处理，才能提供检索服务。其中，最重要的是提取关键词，建立索引库和索引。其他包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要性/丰富度等。

　　3.提供检索服务。用户输入关键词进行检索，搜索引擎从索引库中找到与关键词匹配的网页；为方便用户，除网页标题和网址外，还将提供网页摘要等信息。