出名的搜索引擎蜘蛛名称
该蜘蛛主要从Google的网站索引和新闻索引中抓取网页；Googlebot-Mobile是谷歌移动搜索的蜘蛛名称，主要是从Google的移动索引中抓取网页；Googlebot-Image是谷歌图片搜索的蜘蛛名称，主要是从Google的图片索引中抓取网页；Mediapartners-Google是谷歌为联盟会员站点开发的蜘蛛，主要是抓取网页确定 AdSense 的内容（网站上没有展示 AdSense 广告的情况下，Google是不会才使用此蜘蛛来抓取您的网站）；Adsbot-Google是谷歌为抓取网页来衡量 AdWords 目标网页的质量（只有使用 Google AdWords 为网站做广告的情况下，Google才会使用此蜘蛛）。
该蜘蛛不仅能够为网页搜索抓取网页和文件，而且还能为图片等其他搜索抓取图片等相关的信息，可谓功能强大；Baiduspider-cpro是百度公司负责抓取百度联盟会员站点的蜘蛛，该蜘蛛只会出现在百度联盟会员的站点上；Baiduspider-sfkr是原来百度十分（即百度竞价的前身）的蜘蛛，该蜘蛛主要是抓取参与百度竞价排名或其他搜索营销服务的网站。
搜狐蜘蛛:sogou spider
网易蜘蛛:YodaoBot
网易（Netease）公司旗下的有道（youdao）原为yodao，后修改为今天的域名和品牌，但其搜索引擎的爬取程序依然没有变化仍然为YodaoBot。有道宣称其搜索引擎爬虫可以抓所有的内容。
腾讯的蜘蛛：
腾讯(Tencent)公司旗下的搜搜（soso）原使用的是谷歌的技术，李开复的离职后，搜搜也开始独立，Sosospider是其网页搜索引擎的蜘蛛名称。
雅虎（Yahoo）公司旗下搜索引擎众多，Inktomi、Altavista和Alltheweb都是其旗下搜索引起网站，中文搜索易搜（yisou.com）也是其旗下搜索引擎站点。Slurp是雅虎的网页蜘蛛，他可以从Yahoo！的索引中抓取网页，同时也是Inktomi的蜘蛛；Yahoo!-AdCrawler用来抓取Yahoo！搜索引擎广告登陆页网页；Altavista使用的网页蜘蛛为Scooter；Alltheweb使用的网页蜘蛛为FAST-WebCrawler（PS：通过这里我们能看到alltheweb原为fast公司开发的搜索引擎）。
微软（Microsoft）公司旗下的搜索引擎多次修改名称，原为MSN，后修改为Live，今年又给自己起了个名字叫Bing（中文名称必应）。其负责网页搜索的蜘蛛为：MSNBot；而MSNBot-Media不仅仅负责图片的爬取，还负责视频、音乐等多媒体的爬取；MSNBot-NewsBlogs主要是负责新闻和博客的爬取；MSNBot-Products是产品和购物类网站的爬取蜘蛛；MSNBot-Academic则是学术、论文类的爬取蜘蛛。
我们常用的搜索引擎类型有：（User-agent区分大小写）
*：代表所有搜索引擎种类；在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。
google蜘蛛：Googlebot
百度蜘蛛：Baiduspider
360蜘蛛：360Spider
sogou蜘蛛：Sogou Web Spider
yahoo蜘蛛：Yahoo!slurp
alexa蜘蛛：ia_archiver
bing蜘蛛：MSNbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler
inktomi蜘蛛：slurp
Soso蜘蛛：Sosospider
Google Adsense蜘蛛：Mediapartners-Google
有道蜘蛛：YoudaoBot
泽许蜘蛛: Zexuwhte
百度无线搜索：Baiduspider-mobile
图片搜索：Baiduspider-image
视频搜索：Baiduspider-video
新闻搜索：Baiduspider-news
百度搜藏：Baiduspider-favo
百度联盟：Baiduspider-cpro
商务搜索：Baiduspider-ads
网页以及其他搜索：Baiduspider
版权所有，禁止转载. 如需转载，请先征得博主的同意，并且表明文章出处，否则按侵权处理.
