搜索引擎优化ppt文档(什么是robots.txt以及对网站的影响.)

　　搜索引擎优化ppt文档(什么是robots.txt以及对网站的影响.)

　　robots.txt 是什么及其对网站的影响

　　robots.txt文件是放置在网站根目录下的协议。其主要功能是正确引导搜索引擎蜘蛛抓取和收录页面，告诉搜索引擎哪些页面可用收录哪些页面不能收录，并告诉蜘蛛网站 地图的位置，也就是Sitemap。如果没有robots.txt文件，搜索引擎会抓取网站目录下的所有接口，这会导致你不想被抓取的页面，会抓取一些垃圾页面，这会影响网站 SEO 效果。

　　关于robots.txt文件的写法，不同的网站程序有不同的写法。这里推荐一个WordPress网站的robots.txt文件的写法。这里只介绍基本的写法。如果网站还有其他配置可以添加。

　　robots.txt 文件

　　User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: https://www.hellopg.cn/sitemap.xml

Sitemap: https://www.hellopg.cn/sitemap.html

　　Robots.txt 文件存储位置

　　robots.txt文件一般存放在网站的根目录下，您可以远程连接网站服务器，在根目录下创建robots.txt文件，或者上传配置好的robots.txt，这里是宝塔面板的例子。

　　进入网站的根目录，新建robots.txt，复制并保存内容。

　　添加后可以通过域名/robots.txt查看配置是否成功。