阿里云虚拟主机带公网地址吗(阿里云虚拟主机被搜索引擎爬虫访问耗费大量流量解决方法)
阿里云虚拟主机带公网地址吗
阿里云虚拟主机被搜索引擎爬虫访问耗费大量流量解决方法问题场景:
客户使用虚拟主机,网站被搜索引擎爬虫访问耗费大量流量和带宽,如何处理。
解决方法:
可以通过在站点根目录下创建 Robots.txt,Robots.txt 文件是网站的一个文件,搜索引擎蜘蛛抓取网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径。
注:Robot.txt协议不是强制协议,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下方法无效。
1. 首先,先了解一下目前搜索引擎和其对应的 User-Agent,如下:
搜索引擎 User-Agent
AltaVista Scooter
baidu Baiduspider
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
LooksmartWebPages Slurp
2. Robots.tx t样例代码:
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent:
Disallow: /
例2. 允许所有的搜索引擎访问网站的任何部分
User-agent:
Disallow:
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
例5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事项:
三个目录要分别写。
请注意最后要带斜杠。
带斜杠与不带斜杠的区别。
例6. 允许访问特定目录中的部分url
实现a目录下只有b.htm允许访问
User-agent: *
Allow: /a/b.htm
Disallow: /a/
- 怎么使用阿里云cdn(阿里云CDN加速和全站加速DCDN区别及如何选择)
- 云服务器ecs更换可用区(在阿里云管理控制台重置ECS实例的密码并重启服务器后无法访问该服务器)
- 阿里云mysql升级注意事项(阿里云mysql空间清理的方法)
- 阿里云mysql配置升级注意事项(详解如何在阿里云上安装mysql)
- 阿里云服务器怎么登录查看代码(如何登陆阿里云服务器,阿里云服务器怎么登陆)
- 阿里云安全组端口访问网站(阿里云添加的安全组端口以及添加后无法访问问题排查)
- 阿里云跟腾讯云的对比(阿里云、腾讯云的恩怨情仇)
- 云ecs服务器怎么释放(如何解决阿里云ECS Windows服务器C盘权限被删除导致无法访问)
- 阿里云域名解析地址写什么(阿里云 Linux 服务器内部无法解析域名问题解决方法)
- win7如何搭建php环境(阿里云Win2016安装Apache和PHP环境图文教程)
- 阿里云服务器ecs入口(阿里云ECS云服务器更换公网IP的方法)
- 两个阿里云账号服务器内网通信(阿里云服务器怎么与租用香港服务器组内网?)
- 阿里云docker 基础镜像(Docker 配置阿里云容器服务操作)
- 阿里云ecs服务器挂了怎么办(阿里云服务器ECS不支持合并多块数据盘怎么办?)
- 阿里云服务器ecs过期保留多久(阿里云ECS Windows服务器C盘权限被删除还能还原吗?)
- 仅主机模式搭建hadoop集群(阿里云服务器搭建hadoop集群补充)
- 全椒人在苏州10周年联谊会在苏州举办(全椒人在苏州10周年联谊会在苏州举办)
- 这个全椒人被通报表彰,看看你认识吗(这个全椒人被通报表彰)
- 全椒人,38年集体回忆 1980-2018 ,看完不要哭(全椒人38年集体回忆)
- 董元奔吟咏历代文人 1012新旧均可 全椒人张璪 1022 -1093(董元奔吟咏历代文人)
- 泪目 这位 刷屏 的英雄,是全椒人的骄傲(泪目这位刷屏)
- 人从众 火炎焱 全椒再现 正月十六走太平 的魅力(人从众火炎焱全椒再现)
热门推荐
- dedecms怎么判断授权(DedeCms模板防盗以及安全设置的一些小技巧)
- canvas俄罗斯方块(JavaScript canvas实现俄罗斯方块游戏)
- 服务器宝塔面板怎么安装(VPS安装宝塔面板+云锁过程记录)
- dedecms无缩略图怎么设置(dedecmsV5.7版 tag标签长度的修改方法详解)
- php验证码图解(php/JS实现的生成随机密码验证码功能示例)
- js 原生事件代理(如何利用原生JS实现触摸滑动监听事件)
- amazeui 费用(AmazeUI的下载配置与Helloworld的实现)
- apache各种配置(让Apache支持Rewrite静态页面重写的方法)
- sqlserver怎么显示变量所占字节数(SQL Server中关于基数估计计算预估行数的一些方法探讨)
- dedecms怎么在根目录外生成文件夹(dedecms 5.6 缩略图按大小比例缩小裁剪)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9