文章采集功能(腾讯文档最大热点竞争者2017腾讯大文娱招聘年轻人)

　　文章采集功能(腾讯文档最大热点竞争者2017腾讯大文娱招聘年轻人)

　　文章采集功能是我最近开发的，主要是想做一个事件驱动的发起/采集/编辑器。目前采集功能只支持文本格式，期待后续更多的有效格式的数据返回。目前我这边每周定量有一次原创登录（推荐）机会，参考文章：腾讯文档最大热点竞争者2017腾讯大文娱招聘年轻人腾讯大文娱招聘合适你的工作可以私信我，也可以评论或者直接上我的网站。

　　除了更新推荐算法之外我们还对我们的sdk做了两个改动。其中一个改动是提供「全站搜索」功能。我们每次对搜索栏输入框内文字的命中情况判断是否在我们的爬虫库中。「全站搜索」这个点子之前网上已经有人想到了，但是我们一直不敢在搜索结果页提供搜索。因为我们的爬虫所做的判断是，只有被爬过的文字才在我们的数据库中存有。

　　如果存在schema冲突的话我们的数据库肯定是有争议的。但是现在我们将这个功能开放给用户，用户如果能爬到自己喜欢的文字，就可以给我们留言。那么用户觉得不安全就可以给我们反馈的。另一个就是根据用户输入的地址，我们的爬虫进行爬取。其实如果有excel格式存在的话，用户输入的地址我们更好进行定位，而不是用户希望在大标题中输入地址。

　　我们采用的是postman。首先我们用postman把我们的爬虫抓下来然后进行解析。这是已经做好的爬虫代码，每次请求的格式和url如下，这次抓取地址大部分仍旧参考了mongold，即爬虫路径的图片：爬虫代码大概有几十行，我们这次采用了urllib3。我们爬取百度的爬虫代码是这样的，以及手机百度爬虫代码是这样的：主要看前两部分，通过比较postman提供的url和urllib3提供的url，我们发现我们自己抓取的文字和他们自己爬取的是有区别的。

　　自己抓取的一些内容被识别为带敏感词，所以要si「请求方法」有明显区别。所以请求方法的区别应该作为我们爬虫存在争议的判断标准。以上为爬虫相关的功能，下面说一下爬虫的部分。我们也采用了postman，每次http请求大概几十行。这次爬取地址是：[]("".)根据请求方法不同请求的结果也有差异。

　　这也算是我们爬虫存在争议的一个判断标准。这里采用的是urllib3。通过对爬虫代码的多次实验我们发现，我们自己抓取到的文字都是自己写的。他们抓取到的文字中我们发现大部分被识别为带敏感词，所以我们不希望找一个带敏感词的地址，然后请求：那么到底我们到底应该用哪种方法更好呢？最后的结论是我们是不希望去请求百度的服务器。因为我们发现百度会通过这种方式对其的搜索进行破坏。所以最好的方法是我们爬取。