如何抓取网页视频(禁止搜索引擎抓取后会有什么效果？抓取和收录的效果)

　　如何抓取网页视频(禁止搜索引擎抓取后会有什么效果？抓取和收录的效果)

　　大家做seo都是千方百计让搜索引擎抓取和收录，但其实很多时候我们还需要禁止搜索引擎抓取和收录

　　比如公司内测的网站，或者内网，或者后台登录页面，肯定不想被外人搜索到，所以应该禁止搜索引擎抓取。

　　那么禁用搜索引擎抓取有什么影响呢？

　　给你发一张禁止搜索引擎爬取网站的搜索结果截图：

　　可以看到，描述没有被爬取，但是有提示：因为网站的robots.txt文件有限制指令（限制搜索引擎爬取），系统无法提供内容描述这页纸

　　所以对搜索引擎的禁令收录其实是由robots.txt文件控制的

　　百度官方对robots.txt的解释如下：

　　机器人是网站与蜘蛛交流的重要渠道。该站点通过 robots 文件声明了此 网站 中它不想被搜索引擎 收录 搜索的部分，或者指定搜索引擎仅 收录 特定部分。

　　9月11日，百度搜索机器人全新升级。升级后机器人会优化网站视频网址收录的抓取。只有当您的 网站 收录您不希望被视频搜索引擎 收录 看到的内容时，才需要 robots.txt 文件。如果您想要搜索引擎 收录网站 上的所有内容，请不要创建 robots.txt 文件。

　　如果你的网站没有设置robots协议，百度搜索会在网站的视频URL中收录视频播放页面的URL、视频文件、视频的周边文字等信息。已收录的短视频资源将作为视频速度体验页面呈现给用户。另外，对于综艺、电影等长视频，搜索引擎只使用收录页面URL。

　　综上所述，我们可以得出两个结论：

　　1、robots.txt 否

　　2、网站有内容不想让搜索引擎收录，在robots.txt中声明