Robots.txt 文件应放在哪里？
Robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
比如：
http://www.tianmeng520.com/robots.txt??? 有效
http://www.tianmeng520.com/bbs/robots.txt???? 无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
Robots.txt 文件应放在哪里？
来源：网络 浏览：208次 时间：2020-10-31
推荐文章
推荐站点
广西大学网站广西大学网站
www.gxu.edu.cn
苹果官方网站,Apple苹果官方网站,Apple 设计并创造了 iPod 和 iTunes、Mac 便携式和台式电脑、OS X 操作系统以及革命性的 iPhone 和 iPad。
www.apple.com.cn
电影网站,迅雷看看天天看看是一个综合高清影视视频平台，免费提供电影、电视剧、综艺、音乐MV、动漫、新片、大片的高清在线点播和下载
www.kankan.com
阿里巴巴网站首页阿里巴巴网站首页
china.alibaba.com
青青草原WiFi官网青青草原wifi热点是国内领先的笔记本免费wifi共享软件，无需购买随身wifi和无线路由器，最新版青青草原wifi5.2，史上最小的笔记本免费wifi热点软件，支持win7|win8|win10系统共享wifi，WiFi定时关机、WiFi黑白名单。
www.22zy.net