Robots设置对收录机制稳定性的搜索行为预测

robots.txt文件中,允许所有搜索引擎访问所有url的

1、User杠agent：Disallow：或者User杠agent：Allow允许所有搜索引擎访问网站的所有部分。 2、Disallow说明允许robot访问该网站的所有url，在robots.txt文件中，至少要有一条Disallow记录访问。