大家会发现这样一个问题，就是一个新站通过SEO优化时往往需要一段时间才会有排名，但是收录却不多，这是什么情况呢？今天就由济南建网站公司小编来给大家讲一讲。

网站收录往往有多方面原因造成的，比如网站内容多次重复、关键词堆砌、过多复制别人的文章、有很多极限词、外链太少等等，这都是造成网站收录少、排名低的原因。此外，小编今天讲一下另一个影响网站收录少的原因，这个很容易被大家忽略掉，那就是robots文件。

其实在网站优化这一块里面，robots文件的设置是占据很重要的位置的。当搜索蜘蛛去访问一个站点的时候它会首先检查该站点根目录下是否存在robots.txt。如果设置了robots文件，对于网站收录会有很多帮助。

比如它可以提高搜索引擎的访问速度：大家都知道搜索引擎在进行抓取的时候会耗费服务器带宽，这时候网站页面过多的话就会导致网站的加载速度变慢，严重影响爬虫的抓取以及用户的浏览体验。如果在robots文件里面设置禁止抓取一些不那么重要的页面，就可以提高蜘蛛抓取的效率，也能节省更多的带宽，提高访问速度。

还有就是每个网站中都有重要的和不重要的页面，如果通过robots文件减少蜘蛛对不重要页面的抓取，把爬行重点放在重要页面上，这样不仅可以帮助重要页面获取更多的权重，还能提高网站的友好度。

robots文件就是站长和蜘蛛之间达成的一个协议或声明，在网站发布前声明好哪些希望被搜索引擎访问，哪些页面不希望被访问是非常重要的，网站收录不是一朝一夕就可以完成的，它是一个循序渐进的过程，大家可以继续关注济南建网站公司官网，跟着小编了解更多网站知识。