【爬虫相关】The Knowledge AI是什么新型的蜘蛛爬虫？

作品分类：爬虫相关  蜘蛛  爬虫  国外  爬虫  蜘蛛  Knowledge  AI

最近从网站的日志中发现一些奇怪的蜘蛛，包括Barkrowler，DuckDuckGo Favicons Bot，还有The Knowledge AI，那么The Knowledge AI是什么新型的蜘蛛爬虫？

据webmasterworld国外的网友反馈，这个蜘蛛爬虫的主机是Hurricane Electric he.net 的

UA: The Knowledge AI
Protocol: HTTP/1.1
Robots.txt: Yes
Host: Hurricane Electric he.net
66.160.128.0 – 66.160.207.255
66.160.192.0/20, 66.160.128.0/18

而Hurricane Electric（HE）是国外免费DNS服务商，不过不知这个具体情况如何