当前位置:首页 > 行业资讯 > 什么是robots协议?

什么是robots协议?

我要分享易胜博ysb2488编辑:沃通科技 │ 发表时间:2016-11-30 │ 浏览次数:318 |

robots协议:robots.txt是搜索引擎访问一个易胜博ysb2488时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robots.txt必须放在易胜博ysb2488根目录下,且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org。


百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robots的meta标签,index、follow、nofollow等指令。