robots防止搜索引擎收录

共享资源 5aimiku 501次浏览 0个评论

其实我知道很多人都不需要这个东西。。毕竟一般人没必要吧。。。做这件事。。八成是网站比较。。。咳咳咳。。。容易被和谐和查水表(比如SS站和大人站)。因为我也做过SS站,当时就用了robots防收录。好像有点用,毕竟没有做大,想辣么快就自动收录应该也不是很简单。

这里放出一个简单处理过的robots文件:robots

再放一串代码吧:

Disallow: /user
Disallow: /lib
Disallow: /admin
Disallow: /vendor

User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /

这里只是把百度、搜狗、有道、SOSO屏蔽了。如果有需要可以去这里生成robots内容:站长工具

然后header.php文件<head>里面加上一个防止百度收录快照的代码:

<meta name="Baiduspider" content="noarchive">

但是百度不一定遵守robots规则,可能依然收录,那就用下面办法:
如果你用的是Nginx,以lnmp为例,那就在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件,比如:www.baidu.com.conf

然后在里面插入以下代码:

if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
return 403;
}

然后保存并上传替换,然后ssh链接vps输入lnmp nginx restart

 


本文版权:霜之哀伤 转载请注明robots防止搜索引擎收录
喜欢 (2)or分享 (0)
5aimiku
关于作者:
一条自以为上了大学就脱离苦海的咸鱼,业余喜欢打游戏,平时喜欢折腾各种东西,喜欢ACG,喜欢宅。
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址