* robots出现在name属性中,使用content属性定义网页搜索引擎索引方式
* 通过使用meta的robots属性值可以为没有文件上传权限的用户提供/robots.txt文件的所有功能
* 如果网页没有提供robots,搜索引擎认为网页的robots属性为all(index,follow);
<meta name="robots" content="noindex" />
定义了此网页不被搜索引擎索引进数据库,但搜索引擎可以通过此网页的链接继续索引其它网页
<meta name="robots" content="nofollow" />
定义了此网页被搜索引擎索引进数据库,但搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="robots" content="none" />
定义了此网页不被搜索引擎索引进数据库,且搜索引擎不可以通过此网页的链接继续索引其它网页
<meta name="googlebot" content="noindex, nofollow" />
针对谷歌GOOGLEBOT使用robots
<meta name="baiduspider" content="noarchive" />
针对百度baiduspider使用robots