robots可以像搜索引擎屏蔽不想被抓取的内容，那么这种操作对于SEO优化有什么帮助呢?

第一，大多数网站都是动态语言，然后了利于网站优化采取伪静态的方式，这种情况就一个页面是有两个地址的，一个是静态地址一个是动态地址，这种情况下就会有大量重复的内容，是不利于seo的通过robots文件可以屏蔽掉动态链接的抓取，降低重复内容的抓取机率，提高网站的抓取效率。

第二，网站中有很多数据，或者用户的数据、隐私数据等，这些内容是我们不希望被搜索引擎收录的内容，那么通过robots可以屏蔽这些内容所在目录的文件，达到数据保护的目的。

第三，网站在网站的运营中由于某种原因，网站时常会产生很多死链，这种情况对于SEO优化是十分不利的，并且用户体验也不是很好，一般遇到这种情况站长都会在后台提交死链来达到删除这些页面索引的目的，但是这种效率往往不是很高，其实我们可以利用robots来屏蔽这些死链，可以达到事半功倍的效果。