Amaze UI Logo

徐建新的网络营销学习博客




robots协议书的使用

1.robots是什么,怎么使用
2.什么情况下使用robots
3.语法和通配符的使用
必须打开的链接:http://zhanzhang.baidu.com/wiki/53
User-agent: 定义搜索引擎
User-agent: baiduspider屏蔽百度蜘蛛
User-agent: googlebot屏蔽谷歌机器人
如果要对百度和谷歌同时生效,就写两个

Disallow: 不允许抓取
Disallow: /Helps/pifadaili.html

Allow: 允许抓取,配合Disallow: 使用
Disallow: /Helps/
Allow: /Helps/pifadaili.html 这两行代码的意思是不允许访问/Helps/文件夹下的所有文件,但pifadaili.html除外。

“*” 匹配0或多个任意字符
Disallow: /Helps/
Allow: */pifadaili.html
*代表Helps

“$” 匹配行结束符
Disallow: /*.html$屏蔽所有的以.html结束的页面
Disallow: /*?*屏蔽抓取动态路径
Disallow: /*.php$屏蔽所有的以.html结束的页面

 

作者  :  xujianxin

一名网络营销专业的讲师,从事网络营销行业7年,有多个行业的网络营销经验,曾做过法兰、鲜花、婚庆、晶体管设备、幼儿园等多个行业的推广以及策划。




About ME

about me

徐建新

我是一名网络营销专业的讲师,从事网络营销行业7年,有多个行业的网络营销经验,曾做过法兰、鲜花、婚庆、晶体管设备、幼儿园等多个行业的推广以及策划。

Contact ME

Article List