搜索指定网站内容(爬取指定网站内容、话题、关键词怎么获取？)

　　搜索指定网站内容(爬取指定网站内容、话题、关键词怎么获取？)

　　搜索指定网站内容、话题、关键词，我们就可以获取相应网站的索引页链接（referer）。也就是说，只要你爬取的网站内容，同步到相应索引页链接，即可实现我们搜索引擎验证以及导出内容数据。解决搜索引擎验证请求“从相关网站，进入索引页”无法返回完整网页内容的问题。爬取指定网站内容除了不能通过https协议，还需要通过网站访问协议base22授权（base22notificationprotocol,即基于最新的http协议，提供基于http/1.1/2、http/2协议应用程序访问http协议的访问参数，访问的代理方（认证代理方，也就是对用户隐藏真实ip）可通过该代理访问站点）。

　　大部分网站，索引页都是get，很少有人会采用post请求方式获取资源。同理，搜索指定关键词的话题页，就需要通过搜索相关词的链接。另外，爬取指定网站的内容是不可逆爬取的，即爬取到的内容就不是个人创建的referer了。我们必须采用图形化形式，将用户创建的referer复制下来，再用asp，c#等语言，实现对网页进行翻页，或者快速获取资源等。

　　爬取：从标题中获取搜索指定网站内容爬取一些爬虫获取域名或者url对应的“有关页”，直接通过etl工具进行处理。这样做的好处，是我们可以先爬取标题，直接从标题中提取值。例如，要爬取某个知乎用户网页的“网址”数据，可以采用fiddler抓包工具抓取标题，或者基于通用js实现返回地址，直接在etl工具中提取。

　　找到或者拼接完整的网址或者链接后，就可以进行索引页爬取。例如，要爬取某个知乎用户的豆瓣数据，可以直接从标题中去拼接所有豆瓣的电影标题，再根据用户的标签去拼接相应的评分与标签。再或者，搜索某个话题的资源内容，可以搜索有关豆瓣的“有关页”（关键词：豆瓣）等。应用场景同样是搜索爬虫，想要构建好的爬虫，还是需要数据库表结构和数据存储。

　　当我们快速构建好数据存储，将一个简单的爬虫应用，做成了一个开源数据库，效率是非常高的。其中有一个小工具，可以直接拿来用，叫“简单搜索”：【官网】-简单搜索使用说明：可以查询某个时间点，该平台发布的全部内容，具体可以查看原文操作指南。通过爬虫获取的内容，需要存储起来，方便以后构建查询，这个工具叫csvstatisticsdatabase（incubator，github）。

　　功能内容爬取、存储-用户数据存储模型使用csv工具，更新csv数据、统计时间，获取相关指标名称。应用场景：站内更新交互框架：rxjava优缺点优点：无需实现接口，调用起来不困难，有轻量级功能支持，易于扩展缺点：多线程的处理，可能会有点慢，大部分情况可。