潮人地东莞seo博客小编下面跟大家分享关于seo基础新手入门：seo优化网站的robots文件的作用是什么?等问题，希望seo新手入门专员在做seo优化的过程中有所帮助，内容仅供参考。
seo优化网站
一、robots文件的含义
robots文件是指定给搜索引擎派出的蜘蛛收录的规则限制，一般情况下，搜索引擎会派出蜘蛛自动访问互联网的所有网站，它们做的第一件事就是检查网站根目录是否有robots文件，这个文件用于指定蜘蛛对网站的抓取范围，没有robots文件蜘蛛则视为没有规则限制随意收录。
二、robots文件放置的位置
robots文件，其实就是放置在网站根目录的robtos.txt文件，这是一个说重要不是很重要，但有时候却又是致命的文件，他有可能是导致整个网站不收录或者某一个某块目录下的所有页面都不收录的主要原因，小编也发现很多新手在做seo优化的时候，经常因robots文件引起差错。
seo博客相关推荐阅读：seo新手：对网站权重影响比较大的因素有那几种？
值得注意的是，robots文件中的任何(注意是任何)一个字母的小差错，都是致命伤害!
身为站长或者相关的seo工作人员一定要注意每行代码是否填写正确，希望开放的目录是否能被收录。
举个例子：比如潮人地东莞seo博客的网站是：https:/www.cr-seo.com;那么robots.txt文件的位置应该是：https://www.cr-seo.com/robots.txt。
seo优化网站
三、robots.txt的文件编辑规则
User-agent：相关搜索引擎蜘蛛的名称
User-agent: * 指的是所有搜索引擎
Disallow: 禁止搜索引擎抓取的目录
Allow: 允许搜索引擎抓取的目录
Sitemap: 网站地图的链接
四、常见的robots.txt文件编写方法
1、禁止所有搜索引擎抓取网站的任何部分
User-agent: *
Disallow: /
指的注意的是，这是“禁止抓取”，新手小伙伴千万别误把这个robots规则理解为允许搜索引擎抓取网站的所有部分。
2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)
User-agent: *
Allow: /
以上robots规则是允许所有搜索引擎抓取网站的任何部分，但为避免错误，建议建一个空的robots.txt文件即可。
3、禁止spider抓取特定目录
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
以上例子，禁止所有的spider抓取a、b、c目录。这个规则我们最常用到，比如网站的程序后台、程序目录等都可以禁止spider抓取，以减少spider无意义的浪费我们的空间资源。
以上是潮人地东莞seo博客跟大家分享关于seo基础新手入门：seo优化网站的robots文件的作用是什么等问题，希望能对大家有所帮助，若有不足之处，请谅解，我们大家可以一起讨论关于seo推广优化的技巧，一起学习，以上内容仅供参考。
