有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢?
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
版权声明： "Robots生效要多久?"来源于会员自助提稿或网络转载，并不代表优站目录网站大全的观点，如有疑问，敬请联系我们，我们将在第一时间予以审查或更改。
原文链接： https://www.265dir.com/artinfo/242.html （ 转载请注明来源 ）
中华人民共和国中央人民政府门户网站
www.gov.cn纵横中文网,最热门的免费小说网站,提供玄幻小说、网游小说、言情小说、穿越小说、都市小说等免费小说在线阅读与下载。大神作品齐聚纵横,最新章节每日更新。
www.zongheng.com360影视-更新更全更受欢迎的影视网站-在线观看
www.360kan.com看DVD电影网是免费提供2012最新快播电影在线观看,qvod电影,搞笑电影下载等。我们一直努力成为最好的免费电影网站!
www.kandvd.cc9070电影网是老牌的免费电影站,提供许多2012最新电影,好看的电视剧和经典电影大全,网站分为在线观看和电影下载.
www.9070.net第一放映室(www.2kk.cc,乐乐影院,奇特电影网)提供最新电视剧电影,好看的电视剧电影、欧美大片、香港TVB电视剧、韩国电视剧、台剧、泰剧、日剧、美剧、综艺等。
www.2kk.cc