有效的屏蔽百度蜘蛛或某一爬虫的几种方法 | 陌小九
很多站长朋友们估计也都遇到过这样的问题：蜘蛛访问压力非常的大，而且有很多国外的搜索引擎爬虫来抓取网页，还有一些冒充百度蜘蛛、谷歌蜘蛛的天天来抓取，假蜘蛛太多，会造成服务器压力大，而且还会影响其他蜘蛛更好的抓取网站，那么我们就需要屏蔽某一蜘蛛或者IP来抓取网页，以下有几种方法都可以实现。
Robots.txt屏蔽
robots协议是一个放在网站根目录下协议文件，可以通过URL地址：你的域名/robots.txt进行访问。当百度蜘蛛抓取我们网站时，会先访问这个文件。因为里面告诉了蜘蛛哪些可以抓取，哪些不可以抓取。以谷歌蜘蛛为例：
User-agent: Gооglebot
Disallow: /
代码分析，首先要知道该爬虫的名称，如百度爬虫是Baiduspider，Gооgle爬虫是Gооglebot，360搜索爬虫是360Spider，你可以通过各大搜索引擎蜘蛛爬虫UA汇总来获取爬虫的名称。
Meta标签屏蔽
如果是针对某一个页面屏蔽百度蜘蛛或某一爬虫抓取，那么可以通过Meta标签来实现。代码如下：
<head> …
<meta name=”robots” content=”noindex,nofollow” />
</head>
这是屏蔽所有蜘蛛爬虫抓取该页面的写法，如果只屏蔽某个爬虫，可以把”robots”改为特定的爬虫名称，爬虫名称可以通过上面方法1中提及的办法获得。例如想只屏蔽微软必应的蜘蛛抓取该页，则可以写成：
<head> …
<meta name=”bingbot” content=”noindex,nofollow” />
</head>
.htaccess屏蔽
一些可恶的爬虫并不遵循robots规则，那么我们还可以通过.htaccess来屏蔽它，代码如下（以百度蜘蛛为例）：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Baiduspider.* [NC]
RewriteRule .* – [F]
如果是Apache服务器，可以修改配置文件 httpd.conf ，这样写( ar/wwwml 是根目录)：
<Directory “/var/www/html”>
…
SetEnvIfNoCase User-Agent ^.*Baiduspider.* bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
…
</Directory>
如果是Nginx服务器，可以修改配置文件( 默认是nginx.conf )，这样写：
Server{
…
location / {
if ($http_user_agent !~ Baiduspider) {
return 403;
}
}
…
}
通过IP屏蔽
我们还可以通过分析日志，获得爬虫的IP地址，然后从服务器防火墙屏蔽该IP，不过爬虫通常有很多IP，我们可以屏蔽爬虫的IP段。
你可能感兴趣
shopify自动回复邮件怎么插入表格
如果您想在 Shopify 自动回复邮件中插入表格，可以使用 HTML 代码来创建表格。以下是一些简单的步骤来为您的 Shopify 自动回复邮件添加表格： 打开 Shopify 后台管理页面并转到
详解301重定向，301重定向如何实现
301重定向是什么意思301重定向(也叫301转向或301跳转)，是当用户或者搜索引擎访问网站的时候，向网站服务器发出请求，服务器返回的http数据流中头信息的状态码显示301（状态码有很多种），30
Wooview – Shopify一站式APP插件(评论、愿望清单、销售弹窗、邮件订阅)使用教程
Wooview跨境独立站一站式营销应用程序是基于Shopify等跨境独立站电商平台的一站式营销应用程序，可为Shopify等商店提X品评论，愿望清单，订阅弹窗，销售弹窗和邮件营销等功能：https:
百度官方公开课：网站抓取和收录建设指南（干货）
大家好，今天百度资源平台官方直播了一节公开课，主要是和大家说说网站抓取和收录的一个原理，这里我给大家做了详细的笔记(一字不漏)，看完以后，可以说做收录基本上不是什么大问题了。 百度爬虫工作原理 首先百
优化Shopify移动手机端界面优化美化（添加快捷导航栏/快捷菜单)详解使用教程
今天是周日，大家都出去赏花度假，我独自一人在家花费了我大约3个半小时，写出了一套几乎适应所有Shopify/Wordpress移动端的快捷导航栏菜单&#x
做Shopify独立站的卖家，这27款应用你值得收藏
小提示：您能找到这篇{做Shopify独立站的卖家，这27款应用你值得收藏}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的做Shopify独立站的卖家，这27款应用你值得收藏内
Shopify免费产品评价应用 Product Review安装和设置教程
Product Review是Shopify官方出品的一款完全免费的Review应用。如果你前期预算有限，可以先使用Product Review这个应用为你的网站添加评价功能࿰
Shopify独立站怎么做邮件EDM营销-邮件营销-邮件群发？
Shopify独立站不像亚马逊平台自带流量，全靠自己引流。先说说引流方式有哪些：1. Facebооk付费2. Gооgle Adwords，Gооgle S
国内外搜索个个搜索引擎明细简单介绍-seo优化
AhrefsBot : AhrefsBot 是一个 Web 爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数
shopify 属性添加图片及样式
<style> .custom-sax{ float:left; width:100%;} .custom-sax li{ float:left; width:23%; padding
原创文章，作者：starterknow，如若转载，请注明出处：https://www.starterknow.com/2584.html
starterknow