关于网站robots.txt写法，及robots.txt文件内容大小!在线等....

你这个文件太大了，一般的robots.txt网站的没有那么多的栏目，也没有那么多禁止抓取的，一般也就几KB 你这个挺多