如果你用域名后面加robots.txt无法访问的话，那说明根目录是真的没这个文件，那么剩下的可能性就是在你网页的代码中有这样的代码了。
你先用 网址/robotx.txt 看看有没有内容， 比如：http://www.baidu.com/robots.txt就知道根目录下有没有robots.txt文件了。没有了 自己可以手动创建一个的。
