1. robots.txt只能存放于网站的根目录下，置于除此之外的任何地方均不会被Spider发现。
2. 每个网站，或每个域名（包括子域名），只能有一个robots.txt。
3. 文件名“robots.txt”为小写字母，其他如Robots.[……]
1. robots.txt只能存放于网站的根目录下，置于除此之外的任何地方均不会被Spider发现。
2. 每个网站，或每个域名（包括子域名），只能有一个robots.txt。
3. 文件名“robots.txt”为小写字母，其他如Robots.[……]
Chinese 
English