【爬虫相关】Alexa crawler 是什么蜘蛛爬虫
作品分类:爬虫相关 亚马逊 互联网 蜘蛛 爬虫 蜘蛛 Alexa crawler
Alexa crawler 是世界知名排名网站 Alexa的蜘蛛爬虫,Alexa是一家专门发布网站世界排名的网站。以搜索引擎起家的Alexa创建于1996年4月(美国),目的是让互联网网友在分享虚拟世界资源的同时,更多地参与互联网资源的组织。
alexa蜘蛛的一般日志形式是ia_archiver 因为后来被亚马逊X了,所以他的蜘蛛nslookup返回值是亚马逊的AWS的地址 .compute-1.amazonaws.com
ip是54.165.59.7
网址如下
http://alexa.com/
原创文章,作者:starterknow,如若转载,请注明出处:https://www.starterknow.com/35391.html