-SEO学习网

找回密码
立即注册

QQ登录

只需一步,快速开始

发新帖
查看: 1301|回复: 0

robots.txt协议

[复制链接]

97

主题

100

帖子

420

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
420
发表于 2016-8-3 09:00:49 | 显示全部楼层 |阅读模式
  robots.txt是网站对搜索引擎进行访问权限及访问路径的命令设置。

  搜索引擎蜘蛛在爬行一个网站的时候,首先会访问这个robots.txt文件。通过这个文件内的命令要求,再来依次访问网站的路径和内容。在很多SEO学习论坛中,我们经常会看到很多站长都在讲robots,由此可见,robots对于网站优化也是不可或缺的一部分!

  robots的书写有以下几种:

  1:允许所有搜索引擎爬行,抓取的书写形式:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow:/

  建立一个空白的robots.txt放置在网站根目录下,同样也是起到允许所有搜索引擎爬行抓取的命令!

robots协议

robots协议
  2:禁止所有搜索引擎访问

  User-agent: *

  Disallow: /

  或者

  User-agent: *

  allow:

  3:禁止所有搜索引擎访问网站中的几个部分,这里以1,2,3代替目录名称

  User-agent: *

  Disallow: /1/

  Disallow: /2/

  Disallow: /3/

  4:禁止某个搜索引擎的访问

  User-agent: 某个搜索引擎名称

  Disallow: /

  5:只允许某个搜索引擎的访问

  User-agent: 某个搜索引擎名称

  Disallow:

  这些都是常用的几种robots.txt书写形式。站长们可以根据自己网站的需求,通过上述命令的变形来书写更多的robots形式。





网站sitemap地图
高质量外链建设
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

Archiver|手机版|小黑屋|SEO学习网:学习最正规的SEO优化技术。 ( 苏ICP备14038759号-1

GMT+8, 2018-4-25 00:40 , Processed in 0.159511 second(s), 36 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表