主流搜索引擎 spider 蜘蛛 User-Agent 标识集
在互联网的世界里,搜索引擎扮演着连接信息和用户的桥梁角色。而要确保搜索引擎能够准确地索引和检索网页内容,就需要依赖于蜘蛛(Spider)或爬虫程序的帮助。为了在网站开发和管理过程中更好地理解搜索引擎的行为,了解它们的User-Agent标识成为至关重要的一环。
这篇文章罗列了一些主流搜索引擎蜘蛛的User-Agent标识,每一个都代表着一款特定的爬虫程序。从GoogleBot到BaiduBot,从Yahoo Slurp到SogouBot,每一个爬虫都有其独特的标识和行为特征。
Adsbot-Google | Adsbot-Google | |
AlexaBot | Alexa | |
AOLBot | sqworm | |
BaiduBot | Baiduspider | |
GoogleBot | googlebot | http://www.googlebot.com/bot.html |
Googlebot-Image | Googlebot-Image | |
Googlebot-Mobile | Googlebot-Mobile | |
IasksBot | iaskspider | |
LycosBot | lycos | |
Mediapartners-Google | Mediapartners-Google | |
MSN Bot | msnbot | http://search.msn.com/msnbot.htm |
RobozillaBot | robozilla | |
SohuBot | sohu-search | |
SosoBot | Sosospider | |
SougouBot | Sogou web spider | http://www.sogou.com/docs/help/webmasters.htm#07 |
Yahoo Slurp | slurp | http://help.yahoo.com/l/us/yahoo/search/webcrawler/index.html |
Yahoo-AdCrawler | AdCrawler | |
YoudaoBot | YodaoBot | http://www.yodao.com/help/webmaster/spider |