【SEO】robots.txt文件有大小限制吗-66优乐网

我们在进行网站建设之初，都要将网站内容进行全面的计划，什么内容能够被搜索引擎收录，什么内容不能被搜索引擎蜘蛛爬行收录，所以我们要怎么去告诉搜索引擎这几个要求并且使其能够被遵循呐，此时我们就要使用robots文档了，66优乐网为大家简单的介绍下robots.txt的大小范围。

robots.txt文件的内容和功能：

百度百科释义：robots就是网站和爬虫之间的一种约定，它以一种简单、直接、txt格式的文本方式来告知相应爬虫的授权，也就是robots.txt就是在搜索引擎上进入网站时首先需要看到的文档。搜索蜘蛛在进入站点后，会先查看站点根目录（robots.txt）下有无，若有则搜索机器人根据文件内内容决定进入范围，若无则全部搜索蜘蛛都可以进入站点内未受口令保护的全部网页。