seo优化技巧之站内robots文件优化

潮人地东莞seo博客小编下面跟大家seo网站优化理由分享关于seo优化技巧之站内robots文件优化等问题，希望seo专员在做seo优化的过程中有所帮助，内容仅供参考。

网站除了301重定向用来集中网站权重外，还有robots文件也是用来集中网站权重，通过站内robots文件优化，可以限制蜘蛛抓取，将一些对网站没什么用的文件进行屏蔽，让蜘蛛更方便的抓取网站内容，有利于我们提升网站排名。

seo优化技巧

1、什么叫robots文件

Robots文件是网站跟搜索引擎爬虫程序(百度蜘蛛、谷歌机器人)一个沟通协议，通过这个协议可以告诉爬虫程序，网站哪些内容是允许抓取的，哪些内容不允许抓取的。

seo博客相关推荐阅读：seo优化推广：seo用的怎样技术(seo用的怎样技术方法)

robots文件全名叫robots.txt,这个文件名要小写，这个文件必须放在网站的根目录，文件名不能自己随便命名。

注意：并不是所有的网站都有这个文件，但是我们在优化网站的时候需要给网站做一个robots文件。织梦有自带的robots文件，对于优化的需求是不能满足，所以就需要自己重新来优化这个文件。

seo优化技巧

2、robots文件的书写格式

User-agent: *

User-agent: 蜘蛛名称

* 是一个通配符，代表的是所有蜘蛛的名称。

Disallow：后面跟的禁止抓取的网址路径

User-agent: *

Disallow: /plus/ad_js.php

如果想限制某个搜索引擎爬虫程序抓取，那么就需要把*换成具体的爬虫程序名称就可以。

蜘蛛名称：

•谷歌：googlebot

•百度：baiduspider

•MSN：MSNbot

•雅虎：Slurp

•有道：YoudaoBot

•搜搜：Sosospider

•搜狗：sogou spider

•360：360Spider (haosouSpider)

例如禁止百度蜘蛛抓取ad_js.php：

User-agent: baiduspider

Disallow: /plus/ad_js.php

禁止谷歌蜘蛛抓取ad_js.php：

User-agent: googlebot

Disallow: /plus/ad_js.php

Allow:允许抓取的文件目录路径

User-agent: baiduspider

Disallow: /plus/ad_js.php

Allow: /member/2.php

(Allow代表允许)

你在robots文件里面即使不写允许记录，只要没禁止，那么也是可以被抓取的。

3、关于robots文件一些特殊的写法

Disallow: /a/*.htm

禁止抓取a目录里面所有以.htm结尾的文件。

Disallow: /a/2.html

禁止抓取a目录里面所有以2.html文件。