首页 > 知识•资讯 > 什么是robots协议? > 正文

什么是robots协议?

2014/12/26 0:00:00 · 稿源:传诚信

robots协议:robots.txt是搜索引擎访问一个网站时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robots.txt必须放在网站根目录下,且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org。

百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robots的meta标签,index、follow、nofollow等指令。


  • 相关推荐
  • 大家在看
客户服务
咨询热线

010-62199213

全国免费咨询热线

400-697-8610