加微信611247送SEO教程

使用robots引导SEO搜索引擎允许禁止访问网站目录或文件

使用robots引导SEO搜索引擎允许禁止访问网站目录或文件

使用robots引导SEO搜索引擎允许禁止访问网站目录或文件

通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取,怎么办?那办法之一就是通过robots.txt文件来实现。

Robots也称做爬虫协议,写法是robots.txt(不用写成Robots.txt),一定要放在网站根目录,其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件,其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。很多人知其一不知其二,懂得一些简单写法用法。但有些人仍然有所忽略,那就是涉及安全隐私的问题。

以下是个人写法,仅供参考:

User-agent: * 搜索引擎的标识,*代表包括百度、谷歌等任意引擎。要具体指定的话这里不详述了。

Disallow: /a*/ 禁止以“a”适配开头的目录下的访问,例如:admin/index.html 是不能访问的。

Disallow: /C*/ 同上,这个大写的C,要注意区分大小。

Disallow: /js/ 禁止访问js目录的任何

Disallow: /*? 禁止包含 ? 的网址,如:www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。

Disallow: /*.jpg$ 禁止访问以.jpg结尾的所有图片

Sitemap: 允许访问这个网站地图文件。

这里说要注意的就是要使用网站地图指令,用””将网站地图的URL地址包裹,有些人说不用加,这你看着办吧。

用*适配符号以防止黑客或恶意攻击的行为,你认为不重要的就不要用*了,直接写上全名即可,如“/js/”。

部分像谷歌搜索引擎还支持网页内写上 来实现其功能。

注意:对于访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能强制抓取工具对您的网站进行相应的抓取操作。

赞(0) 打赏
未经允许不得转载:郑刚SEO培训 » 使用robots引导SEO搜索引擎允许禁止访问网站目录或文件
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

SEO培训

qq:611247联系我们