Robot是什么？
Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为:探测器。
有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
SEO中常说的这个探测器(Robot)是什么？
搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然，不是一部机器)。
不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。
谷歌:googlebot? 百度:baiduspider?? MSN:MSNbot?? Yahoo:Slurp? (yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音)
关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。
广西大学网站广西大学网站
www.gxu.edu.cn
苹果官方网站,Apple苹果官方网站,Apple 设计并创造了 iPod 和 iTunes、Mac 便携式和台式电脑、OS X 操作系统以及革命性的 iPhone 和 iPad。
www.apple.com.cn
电影网站,迅雷看看天天看看是一个综合高清影视视频平台，免费提供电影、电视剧、综艺、音乐MV、动漫、新片、大片的高清在线点播和下载
www.kankan.com
阿里巴巴网站首页阿里巴巴网站首页
china.alibaba.com
青青草原WiFi官网青青草原wifi热点是国内领先的笔记本免费wifi共享软件，无需购买随身wifi和无线路由器，最新版青青草原wifi5.2，史上最小的笔记本免费wifi热点软件，支持win7|win8|win10系统共享wifi，WiFi定时关机、WiFi黑白名单。
www.22zy.net