网站的Robots文件是网站与搜索引擎之间的协议,它可以告诉搜索引擎的蜘蛛哪个页面可以抓,哪个页面不能抓,存在于网站根目录。Robots对网站的影响有多大?

安徽SEO优化:网站的Robots文件

Robots文件是规范搜索引擎收录的,如果没有规范,搜索引擎随便抓取,可能会抓取到大量的垃圾页面,这些垃圾页面被收录后,百度会认为网站是低质量的,会影响到网站的权重排名。

一、Robots协议的书写规则:

1、User-agent: 定义搜索引擎的种类,出现在协议文件的第一行。Baiduspider(百度蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)等,“*”星号表示所有,User-agent: * 表示对所有的搜索引擎而言。

2、Disallow: 定义禁止抓取的地址,以“/”开头,斜杠表示网站根目录。冒号后面为关键词,路径里出现该关键词的都会被屏蔽。

屏蔽动态链接:Disallow: *?*

屏蔽所有css文件:Disallow: *.css$,“$”是结束符号,该条规则表示屏蔽所有以.css结尾的文件。

3、Allow: 允许抓取,一般用不到,规则默认就是允许的。

二、书写格式:

1、第一个英文字母必须是大写。

2、冒号必须是英文状态下的。

3、冒号后面有且只有一个英文状态下的空格。

在写robots协议的时候一定要严格安照书写规则来写,这是搜索引擎给出来的规定,不是这个格式,它不认识。如果不确定自己写的协议是否正确,可以通过百度站长平台来检测。

三、什么情况下使用

1、统一路径,有的网站一个页面存在动态和静态两种链接,屏蔽掉动态链接,就可以把网站统一成静态的链接了,统一路径是有利于网站优化的。

2、屏蔽站内搜索链接,搜索任意一个词都会产生一个链接,而这些链接又是毫无意义的,收录后同样会降低网站质量度。

3、中文路径。网站标签产生的中文路径或者其他的中文路径。

4、js文件。

注意事项

反斜杠后面一定不能有空格,Disallow: / abc,反斜杠后面的空格意味着屏蔽整站。robots文件生效时间在两个月以内,还有就是不要随便屏蔽整站!