-SEO学习网

找回密码
立即注册

QQ登录

只需一步,快速开始

发新帖
查看: 1048|回复: 0

如何合理进行网站robots协议设置

[复制链接]

97

主题

100

帖子

420

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
420
发表于 2017-1-19 12:03:30 | 显示全部楼层 |阅读模式


  SEO工程师应该都知道,对网站进行robots设置,可以加快搜索引擎蜘蛛的爬行,有利于网站的收录和提升搜索引擎友好度。

  robots协议是百度官方给予的一种书写属性,SEO新手在学习SEO优化技术的时候,一定不能忽略对它的学习。

  如何书写robots协议,如何合理的设置它,来加快搜索引擎蜘蛛的爬行?

  SEO学习网-学习最正规的SEO优化技术、SEO教程,今天为大家详细分享:如何合理进行网站robots协议设置?

  一:先来详细了解一下robots协议的基本书写格式和定义:

  Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

  使用方法:

  Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。

  例如:如果您的网站地址是http://www.luoporen.com/那么,该文件必须能够通过http://www.luoporen.com/robots.txt 打开并看到里面的内容。

  格式:User-agent: 用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。

  Disallow: 用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到。

  举例:

  例一:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。

  例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

  例三:Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的。

  #:Robots.txt 协议中的注释符。

  综合例子:

  例一:通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录,以及"/tmp/"目录和/foo.html 文件,设置方法如下:

  User-agent: *

  Disallow: /bin/cgi/

  Disallow: /tmp/

  Disallow: /foo.html

  例二:通过"/robots.txt"只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。

  如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取"/cgi/" 目录下的内容,设置方法如下:

  User-agent: *

  Disallow: /cgi/

  User-agent: slurp

  Disallow:

  例三:禁止任何搜索引擎抓取我的网站,设置方法如下:

  User-agent: *

  Disallow: /

  例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:

  User-agent: slurp?

  Disallow:?/

  二、robots.txt文件对网站的利弊

  1、快速添加网站权重和访问量;

  2、阻遏某些文件被查找引擎索引,可以节省服务器带宽和网站访问速度;

  3、为查找引擎供应一个简洁明了的索引环境

  三、哪些网站的目录需要运用robots.txt文件阻遏抓取

  1)、图画目录

  图画是构成网站的首要构成元素。跟着现在搭站越来越便当,很多CMS的出现,真实做到了会打字就会建网站,而恰是因为如此便当,网上出现了很多的同质 化模板网站,被重复运用,这么的网站查找引擎是一定不喜爱的,就算是你的网站被录入了,那你的效果也是很差的。假定你非要用这种网站的话,建议你应当在 robots.txt文件中进行屏蔽,通常的网站图画目录是:imags 或许 img;

  2)、网站模板目录

  如上面 图画目录 中所说,CMS的强大和活络,也致使了很多同质化的网站模板的出现和乱用,高度的重复性模板在查找引擎中构成了一种冗余,且模板文件常常与生成文件高度相 似,一样易构成一样内容的出现。对查找引擎很不友善,严峻的直接被查找引擎打入冷宫,不得翻身,很多CMS有具有独立的模板存放目录,因而,应当进行模板 目录的屏蔽。通常模板目录的文件目录是:templets

  3)、CSS、JS目录的屏蔽

  CSS目录文件在查找引擎的抓取中没有用处,也无法供应有价值的信息。所以剧烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以跋涉查找 引擎的索引质量。为查找引擎供应一个简洁明了的索引环境更易行进网站友善性。CSS样式的目录通常情况下是:CSS 或许 style

  JS文件在查找引擎中无法进行辨认,这儿只是建议,可以对其进行屏蔽,这么做也有一个利益:为查找引擎供应一个简洁明了的索引环境;

  4)、屏蔽双页面的内容

  这儿拿DEDECMS来举例吧。咱们都知道DEDECMS可以运用静态和动态URL进行同一篇内容的访问,假定你生成全站静态了,那你有必要屏蔽动态地 址的URL衔接。这儿有两个利益:1、查找引擎对静态的URL比动态的URL更友善、更简略录入;2、避免静态、动态URL能访问同一篇文章而被查找引擎 判为重复内容。这么做对查找引擎友善性来说是有益无害的。

  5)、模板缓存目录

  很多CMS程序都有缓存目录,这种缓存目录的利益我想不用说咱们也了解了吧,可以十分有用的行进网站的访问速度,减少网站带宽,对用户体会也是极好 的。不过,这么的缓存目录也有一定的缺点,那就是会让查找引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多运用CMS搭站的朋 友都没有留心到,有必要要致使注重。

  6)、被删去的目录

  死链过多,对查找引擎优化来说,是丧身的。不能不致使站长的高度注重,。在网站的打开过程中,目录的删去和调整是不行避免的,假定你的网站其时目录不 存在了,那有必要对此目录进行robots屏蔽,并回来精确的404过错页面(留心:在IIS中,有的朋友在设置404过错的时分,设置存在疑问,在自定义 过错页面一项中,404过错的精确设置应当是挑选:默认值 或许 文件,而不应该是:URL,以避免查找引擎回来200的状况码。)

  更多SEO优化技术、SEO教程,请持续关注“SEO学习网”;

  官方网址:http://www.seoxuexiwang.com





如何快速提高网站的内容收录情况
如何创建文本形式的Sitemap怎么制作
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

Archiver|手机版|小黑屋|SEO学习网:学习最正规的SEO优化技术。 ( 苏ICP备14038759号-1

GMT+8, 2018-4-25 00:42 , Processed in 0.154860 second(s), 33 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表