什么是robots协议？

2014/12/26 0:00:00 · 稿源：传诚信

robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org。

百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标签，index、follow、nofollow等指令。

相关推荐
大家在看

关键词：

如何使您的网站成功？如何建设一个成功的网站？

您应该了解两个基本知识。优质的网页设计和独特的内容网站的设计对转换而言比您想象的要重要。一个在视觉上对访问者没有吸引力的网站很快就被留下了内......

网站营销网站策划网站知识

2019/12/25 0:00:00
w3.css-2015最新css框架

w3.css 是由w3schools在本年度推出的最新css框架grid系统与bootstrap类似宽度定义的class省略了前缀变得更......

w3.css 网站知识

2017/7/7 0:00:00
初步了解大家为什么用CSS来建设网站！

CSS是Cading Style Sheets的缩写，我们中文叫“级联样式表”使用CSS技术在网页的生产中可以更加精简，体积将被向下修改，并......

网站建设网站制作网站知识

2016/11/28 0:00:00
如何预防网站故障？

如何预防网站故障故障会为你的网站带来损失，直接影响用户体验和搜索引擎收录（SEO），因此预防工作显得尤为重要，选择优质的服务器提供商，保证良......

如何预防网站故障网站建设网站常见问题

2015/4/28 0:00:00
301返回码的含义是什么？

【301】301返回码的含义是“Moved Permanently”，百度会认为网页当前跳转至新url。当遇到站点迁移，域名更换、站点改版的......

301返回码的含义是什么 301返回码网站知识

2014/12/26 0:00:00
503返回码的含义是什么？

【503】503返回码的含义是“Service Unavailable”，百度会认为该网页临时不可访问，通常网站临时关闭，带宽有限等会产生这......

503返回码的含义是什么 503返回码网站知识网站常见问题

2014/12/26 0:00:00
404返回码的含义是什么？

【404】404返回码的含义是“NOT FOUND”，百度会认为网页已经失效，那么通常会从搜索结果中删除，并且短期内spider再次发现这条......

404返回码的含义是什么 404返回码网站知识网站常见问题

2014/12/26 0:00:00
怎么算是服务器连接异常？

服务器连接异常会有两种情况：一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况；一种是Baiduspid......

怎么算是服务器连接异常服务器连接异常网站知识网站常见问题

2014/12/26 0:00:00
什么是robots协议？

robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robot......

什么是robots协议 robots协议网站知识网站常见问题

2014/12/26 0:00:00
什么是UA属性？

UA属性：UA即useragent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份......

什么是UA属性 UA属性网站知识网站常见问题

2014/12/26 0:00:00

集团门户网站群建设详细！

集团门户网站群将给客户带来的特殊价值！ 1）统一规划和实现的功能和页面设计，一方面便于统一管理和使用，另一方面大大节省了网站的总体开支。2）......

集团门户网站群建设详细！

2010/4/9 0:00:00
响应式网站设计关于内容显示的思路

响应式网站设计显示或隐藏内容通过前文的学习，我们已经了解到，对于响应式Web设计，同比例缩减元素尺寸以及调整页面结构布局，是两个重要的方式......

什么是响应式网站设计网站建设响应式网站建设

2015/9/14 0:00:00
如何提高网站转化率？优化网站转换率的5个提示

每当人们访问您的网站时，您只需几秒钟即可创建正确的展示。世界变得快节奏，您的客户很可能会在他们访问您的网站时获得的第一印象，从而使您有很多机......

网站建设网站设计

2019/7/23 0:00:00
网站建设不能制作纯技术化的网页！

从古至今，很多艺术家和学者提出了各种关于形式美的规律，很多经得起推敲的作品都是遵循这些规律去创作，以期完成其审美价值的。因此，在网页设计过程......

网站建设不能制作纯技术化的网页

2010/11/19 0:00:00
建立一个企业网站需要花多少钱?

一般根据网站的功能和内容不同价格是不一样的，一般的中型的企业网站制作费用在20003500 元左右。根据不同企业的不同要求，网智成会给出不同......

企业网站

2010/7/28 0:00:00
建设网站怎么做icp备案

1.网站备案信息真实性核验单2.网站备案信息安全责任书...

ICP备案网站ICP备案

2012/6/14 0:00:00
如何建设一个更好的网站？

当您开始一个网站项目时，你第一次想到什么？你的第一步是什么？你是否在第一步寻找设计灵感？也许你更是开发者类型。您可能会在您的第一次咨询会议后......

建设网站网站建设网站规划

2017/8/30 0:00:00
网站备案的常见知识！

1、请问审核多长时间可以完成？答：根据《非经营性互联网信息服务备案管理办法》（信息产业部令第33号）有关规定，自备案人最近一次提交备案信息......

网站备案企业网站备案

2011/4/19 0:00:00
网站使用后，怎么管理网站？

通过网站管理系统，您可以很方便的管理网站，就像发邮件一样简单便捷。同时，您不会操作还可联系传诚信客服，我们会细心的告诉您如何操作。

网站建设网站使用后怎么管理网站？

2012/7/25 0:00:00
一个优秀的网站设计时需要考虑的7个必要元素

从代码和外观到功能，很多东西都是设计一个引人注目的，可访问的网站。为了生成可以吸引客户并鼓励转换的网站，网站设计和开发人员必须在团队中工作。......

网站设计网站建设

2019/7/4 0:00:00

热文

热门
最新

关键词

网站建设公司公司网页设计网站布局网页设计公司企业网站建设网站制作公司站内搜索网站设计网站建设网站制作网页开发北京网站建设网站知识网站建设公司响应式网站设计网页制作微信二次开发微信平台开发网站搭建网页制作网站页面设计网站设计公司制作网页网站改版 ssl证书（HTTPS）网站安全企业邮箱建设网站网站备案自适应做网站网站开发网站策划互联网新闻建站公司网页设计小程序开发微信企业网站开发

客户服务

咨询热线

010-62199213

全国免费咨询热线

400-697-8610