Robots文件，阻止抓取的下面文件，作用是什么？说的详细一些。

这写文件都是一些系统的程序文件，没有排名价值，禁止抓取一个为了减少蜘蛛的抓取压力，二个防止网站的核心文件被索引泄露。最主要就这2个方面！