潮人地东莞seo博客小编下面跟大家分享关于SEO教程博客：关于robots.txt文件的写法和正确使用方法等问题，希望seo专员在做seo优化的过程中有所帮助，内容仅供参考。
SEO教程博客：关于robots.txt文件的写法和正确使用方法
网站的robots.txt文件主要用于控制seo搜索引擎对网站的收录，它是针对搜索引擎爬虫而设定的一个网络协议，用来告诉网络爬虫哪些页面可以访问。哪些页面不能访问。具体可精确到某个栏目、某个页面、某个链接。通过robots.txt文件，我们可以让搜索引擎爬虫按照自己的规划去访问网站内容，对于不想收录的页面和内容采用robots.txt文件进行屏蔽，的好处一是减少了搜素引擎爬虫的工作量，二是使整个页面的权重更容易集中。
一、什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
seo博客相关推荐阅读：seo优化方法之：网站被劫持如何修复
二、robots.txt文件的写法-如何正确使用robots.txt文件
例1. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /
例2. 允许所有的robot访问(或者也可以建一个空文件 “/robots.txt”)User-agent: *Disallow: 或者User-agent: *Allow: /
例3. 仅禁止Baiduspider访问您的网站User-agent: BaiduspiderDisallow: /
例4. 仅允许Baiduspider访问您的网站User-agent: BaiduspiderDisallow:User-agent: *Disallow: /
例5. 禁止spider访问特定目录在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 “Disallow: /cgi-bin/ /tmp/”。User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/例6. 允许访问特定目录中的部分urlUser-agent: *Allow: /cgi-bin/seeAllow: /tmp/hiAllow: /~joe/lookDisallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/
例7. 使用”*”限制访问url禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。User-agent: *Disallow: /cgi-bin/*.htm
例8. 使用”$”限制访问url仅允许访问以”.htm”为后缀的URL。User-agent: *Allow: .htm$Disallow: /
例9. 禁止访问网站中所有的动态页面User-agent: *Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片仅允许抓取网页，禁止抓取任何图片。User-agent: BaiduspiderDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$
例11. 仅允许Baiduspider抓取网页和.gif格式图片允许抓取网页和gif格式图片，不允许抓取其他格式图片User-agent: BaiduspiderAllow: .gif$Disallow: .jpg$Disallow: .jpeg$Disallow: .png$Disallow: .bmp$
例12. 仅禁止Baiduspider抓取.jpg格式图片User-agent: BaiduspiderDisallow: .jpg$
三、 robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
四、robots.txt文件的其他用途
1、如何禁止seo搜索引擎跟踪网页的链接，而只对网页建索引？
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的 部分：
如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：sign in要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的 部分：
2、如何禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引？
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的部分：
要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
3、我想禁止百度图片搜索收录某些图片，该如何设置？
禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现，请参考“robots.txt文件的写法”中的例10、11、12。
五、robots.txt文件的适用范围及原则
robots.txt文件适用于绝大多数的主流百度seo搜素引擎，但也不排除个别搜索引擎无视这一原则。
Robots协议是国际互联网界通行的道德规范，基于以下原则建立：
1、搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
以上是潮人地东莞seo博客跟大家分享关于SEO教程博客：关于robots.txt文件的写法和正确使用方法等问题，希望能对大家有所帮助，若有不足之处，请谅解，我们大家可以一起讨论关于新手如何学seo 推广的技巧，一起学习，以上内容仅供参考。
