User-agent: *Allow是robots文件中的一句语法，代表的意思是：允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。User-agent: *Disallow：是允许所有搜索引擎收录的意思。 User-agent: *表示允许所有搜索引擎蜘道蛛来爬行抓取，也可以把*去掉，改为特定某一个或者某些搜索引擎蜘蛛来爬行抓取，如百度是Baiduspider，谷歌是Googlebot。扩展资料： 例子：1、允许所有SE（搜索引擎）收录本站：robots.txt为空就可以，什么都不要写。2、禁止所有SE（搜索引擎）收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3、 禁止某个SE（搜索引擎）收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4、 禁止所有SE（搜索引擎）收录本站：User-agent: *Disallow: /它的用途是告诉上一子集，确定某个对象用的。