SemrushBot是什么蜘蛛程序?如何禁止SemrushBot爬虫抓取网站

SemrushBot是什么蜘蛛程序

SemrushBot蜘蛛程序是国外著名分析网站SEMrush的蜘蛛爬虫，SEMrush是一个非常强大的在线营销竞争对手情报分析网站，可以分析SEO数据、PPC数据、社交媒体数据、视频广告数据。SEMrush是付费的，免费用户可以分析一小部分数据。 《百度收录提交入口》 《seo如何做外链》

SemrushBot蜘蛛原型

SemrushBot蜘蛛爬虫UA：”Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)”

为什么要屏蔽SemrushBot蜘蛛抓取

1、SemrushBot蜘蛛抓取过多增加网站服务器负担

2、SemrushBot不会给网站带来实质性帮助

SemrushBot蜘蛛爬虫屏蔽方法

User-Agent: SemrushBot

Disallow: /

以上代码放入robots.txt文件中，上面的代码是屏蔽SemrushBot蜘蛛抓取网站所有内容，如果指向屏蔽抓取部分内容也可以进行相应设置，大唐营销老胡再次屏蔽掉SemrushBot蜘蛛抓取所有网站内容。如下图《网站如何被百度收录》

robots.txt中屏蔽SemrushBot抓取的方法

写在最后，当然，SemrushBot蜘蛛屏蔽根据个人网站情况来定，也不一定非要屏蔽SemrushBot蜘蛛抓取，如果您的服务器配置够好，可以允许SemrushBot蜘蛛抓取网站内容。

相关蜘蛛内容阅读：
《搜索引擎蜘蛛大全》
《MJ12bot蜘蛛是什么》
《AhrefsBot蜘蛛是什么》
《搜狗网站提交入口网址》
《如何进行关键词分析》
《如何快速收录》
《各大搜索引擎提交入口》
《搜索引擎十大排行》
 

文章作者: 大唐营销老胡
文章地址：http://www.datangyingxiao.com/seo/zhenduan/139.html
版权所有：转载时必须以链接形式注明作者和原始出处及本声明。

你可能感兴趣

有效的屏蔽百度蜘蛛或某一爬虫的几种方法 | 陌小九

很多站长朋友们估计也都遇到过这样的问题：蜘蛛访问压力非常的大，而且有很多国外的搜索引擎爬虫来抓取网页，还有一些冒充百度蜘蛛、谷歌蜘蛛的天天来抓取，假蜘蛛太多，会造成服务器压力大，而且还会影响其他蜘蛛更

国内外搜索个个搜索引擎明细简单介绍-seo优化

AhrefsBot : AhrefsBot 是一个 Web 爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数

Mediapartners-Gооgle是什么谷歌蜘蛛（爬虫）？

前几天，在本站论坛给出了Mediapartners-Gооgle蜘蛛的作用：Mediapartners-Gооgle是什么蜘蛛。
共计十七个爬虫，分别为APIs-Gооgle、AdSense、AdsBot Mobile Web Android、AdsBot Mobile Web、AdsBot、Gооglebot Image、Gооglebot News、Gооglebot Video、Gооglebot(Desktop)、Gооglebot(Smartphone)、Mobile AdSense、Mobile Apps Android、Feedfetcher、Gооgle Read Aloud、Duplex on the web、Gооgle Favicon、Web Light等爬虫。
Disallow: /personal