网站内容更新提醒(pc端搜索引擎相关的爬虫可能有什么主要难题？)

　　网站内容更新提醒(pc端搜索引擎相关的爬虫可能有什么主要难题？)

　　网站内容更新提醒是运营中的一大难题。早期的pc端爬虫，通过爬取竞争对手网站相关内容，当用户从竞争对手网站过来时，将可能收到竞争对手关于内容的通知。这种方式无法体现用户隐私保护，无法体现竞争对手产品信息，最重要的是，爬虫无法过滤用户跳转的可能。在pc端搜索引擎发展成熟的今天，很少有网站开发爬虫。那么搜索引擎相关的爬虫可能有什么主要难题呢？。

　　1、爬虫爬取竞争对手页面信息，无法识别用户属性搜索引擎整体更新都是以快速完成收录结果为主，如果网站内容更新有一定的周期，对于搜索引擎来说，检索更新不同页面，无法识别用户属性是最要命的事情。

　　2、同步抓取的页面可能会过期获取最新页面搜索引擎无法识别用户属性如果持续抓取已经不能识别用户属性，搜索引擎就会默认抓取最新页面。这一点，对于用户搜索体验是大打折扣的。

　　3、与用户搜索行为产生关联搜索引擎提供记录用户搜索行为记录，如果未来更新了内容，仍然可以识别用户是否真正的需要它。这就是搜索引擎往反爬虫研究上又一步，搜索引擎未来要提供“记录”用户搜索行为，主要是通过分析搜索词与内容匹配度，从而判断用户是否需要特定的内容。

　　一、网站内容维护到更新具体的策略及要求这是策略问题，相信很多运营人员都曾做过这方面的讨论，举个不恰当的例子，菜市场摆放新鲜海鲜的蔬菜摊主，都知道要定期定点的更新，否则蔬菜很容易坏掉，这是道理。公司也是一样，让用户习惯于从公司主页获取内容，习惯于从内容页面转移至首页，这样用户在相应页面的“购买数量”才更能反映出转化率。

　　这里回答两个问题：1.如何根据你产品与竞品的差异来确定整个“更新策略”？我的理解，公司主站更新策略有一套固定的规则，这个规则是根据他们的产品特点来确定的，用户发布内容，他们都会主动通知用户，但内容不同于其他产品，他们的内容传播方式和知名度更具有“稀缺性”“价值”“倾向性”，在他们所在平台得到曝光的机会也更多。

　　网站的内容也是如此，知道他们的用户集中分布，看哪些内容会更容易被发现的时候，才可以在他们页面上发布对应的内容。针对这两个问题，我先说一下，这个逻辑要怎么运作，因为咱们运营团队可能并不关心运营要做什么，而是运营想运营什么，其他人要运营什么，我们可以运营什么，我们能运营什么。这个问题就产生了答案。2.网站内容怎么更新？这是一个让我个人十分头疼的问题，目前很多网站出现的一个问题就是在运营团队做这个“更新策略”方面，有时缺乏常识，我觉得这跟我们平时所做的运营工。