robots 属性值 -- 定义网页搜索引擎索引方式

* robots用于定义网页搜索引擎索引方式
* robots出现在name属性中,使用content属性定义网页搜索引擎索引方式
* 通过使用meta的robots属性值可以为没有文件上传权限的用户提供/robots.txt文件的所有功能
* 如果网页没有提供robots,搜索引擎认为网页的robots属性为all(index,follow);
<meta name="robots" content="noindex" />

定义了此网页不被搜索引擎索引进数据库,但搜索引擎可以通过此网页的链接继续索引其它网页
<meta name="robots" content="nofollow" />

定义了此网页被搜索引擎索引进数据库,但搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="robots" content="none" />

定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="googlebot" content="noindex, nofollow" />

针对谷歌GOOGLEBOT使用robots
 <meta name="baiduspider" content="noarchive" />

针对百度baiduspider使用robots

评论列表

sjdzlz
这是新建文章1.html,请修改添加正文内容。
2011-12-09 10:10:38
somebody
robots.txt这种方式呢
2010-06-21 23:03:38