网站内容搜索(综艺影视类长禁止搜索引擎抓取和收录的搜索结果截图截图)

　　网站内容搜索(综艺影视类长禁止搜索引擎抓取和收录的搜索结果截图截图)

　　每个人做seo都是想尽一切办法让搜索引擎抓取收录，但很多情况下我们也需要禁止搜索引擎抓取收录。比如公司的内测网站，或者内网，或者后台登录页面，肯定不想被外人搜索到，所以一定要禁止搜索引擎爬取。

　　给你发一张禁止搜索引擎抓取网站的搜索结果截图：可以看到描述没有被抓取，但是有一个提示：因为这个网站的robots.txt文件有限制指令（限制搜索引擎抓取），系统无法提供页面内容的描述。

　　机器人是网站与蜘蛛交流的重要渠道。本站通过robots文件声明其不想被搜索引擎收录或指定搜索引擎仅收录

特定部分的本网站部分。

　　9月11日，百度搜索机器人升级。升级后，robots 会优化抓取和抓取网站视频网址。仅当您的网站收录

您不希望视频搜索引擎收录

的内容时，才需要 robots.txt 文件。如果您希望搜索引擎收录

网站上的所有内容，请不要创建 robots.txt 文件。

　　如果您的网站没有设置robots协议，百度搜索会收录

网站视频的URL，包括视频播放页面的URL、页面上的视频文件、视频的周边文字等信息。搜索到的短视频资源会以视频速度体验页面的形式呈现给用户。另外，对于综艺、影视的长视频，搜索引擎只收录页面的网址。