当前位置:首页 > 新闻资讯 SEO优化

「十堰SEO」Robots.txt文件进阶使用方法

发表日期:2021-01-16 10:27:25作者来源:浏览次数:


关于Robots.txt在网站SEO优化中所发挥的作用和重要性,我们不再一一阐述了,十堰SEO今天主要来和大家聊一聊它的高级用法,也可以叫做进阶使用方法吧。

 「十堰SEO」Robots.txt文件进阶使用方法

robots.txt文件高级应用robots.txt使用要点总结

在介绍进阶使用方法之前,我们先来回顾一下robots.txt的使用要点:

1)文件名必须为小写。不能是RoBotS.TXT。

2)每个域名(不管是不是子域名)都只能最多有一个robots.txt文件,放置于网站根目录。yourname.com的robots.txt对abc.yourname.com没有约束。

3)每种协议都可以有一个robots.txt。如和https://yourname.com可以分别有一个robots.txt。

4)每个端口可以有一个robots.txt。如和:8080可以分别有一个robots.txt。

5)user-agent的名称以及user-agent,allow,disallow,crawl-delay,sitemap这些指示符的大小写不敏感。

6)robots.txt所包含的URL为大小写敏感。分清大小写才能有效排除索引。

7)allow和disallow的URL必须是不包括协议、域名、端口的路径。disallow:就错了。改为disallow: /abc.htm

8)sitemap必须包括从http或https开始的完整的URL。

9)robots.txt不是死链提交工具,想要删除死链索引还是应该登陆各搜索引擎站长平台提交。

10)robots.txt只做减法,有没有这个文件的区别即是去不去做这个排除。删除robots.txt意味着完全开放爬虫漫游。

11)robots.txt只防君子不防小人。历史上发生过多次违反robots.txt的事件。网站要把机密信息放到登陆后。

12)要想严格不让搜索引擎索引还是推荐用noindex标签。但是百度并不支持。

13)crawl-delay并不被谷歌和百度支持,Yandex和Bing则支持。Yandex还支持host指示符来表示偏好的域名。

14)符号#用于注释。后面的内容会被忽略。

robots.txt指令中看不见的通配符*

这里要说的是通配符*。它代表任意长度的任意字符。请注意每一行allow,disallow之后都有一个看不见的*。

也就是说如果你写了disallow: /seo/,那么下面的内容就会影响到所有以/seo/开头的URL,比如:

但是也有例外的情况,那就是allow和disallow之后没有任何赋值的情况。比如下面这种写法:

User-agent: *Disallow: /cyberworld/map/ # This is an infinite virtual URL space

# Cybermapper 可以访问任意页面

User-agent: cybermapperDisallow:合并多个User-Agent

如果你有多个讨厌的机器人在抓取你的网页消耗你的资源,那你可能会通过disallow屏蔽他们(当然要他们是君子的前提下)。你可以通过user-agent一次性把他们屏蔽。

User-agent: bad-bot-aUser-agent: bad-bot-bDisallow: /

这种写法在当你有多个user-agent,每个虽然都比较复杂但是都一样的情况下显得很有用。

User-agent: bad-bot-aUser-agent: bad-bot-bDisallow: /XXX

这样你就可以让robots.txt变得简洁。

为不同的搜索引擎订制不同的Sitemap

如果我们想让某些搜索引擎只访问特定的sitemap,这种情况下该如何处理呢?除了在站长平台提交网站地图,我们还可以在robots.txt内实现。别忘了sitemap文件也是一个资源,我们一样可以用disallow去屏蔽掉。假定我们给百度的网站地图是sitemap-bd.xml文件,其他搜索引擎的地图文件是sitemap.xml,我们可以通过下面的方式来实现:

User-agent: *Disallow: /sitemap-bd.xmlUser-agent: baiduspiderDisallow: /sitemap.xmlSitemap: Sitemap: 

这样一来站点就有专门针对百度可见的地图文件了,而其他搜索引擎抓取的是另外一个网站地图文件。

Sitemap太大了该怎么办?

我们知道,一般来说搜索引擎对站点地图的大小和所包含的URL的数量都有所限制。比如百度对单个sitemap文件的限制是五万条URL和10MB的文件大小。在这种情况下,你可以在robots.txt中给出多个sitemap文件的URL。除了这种分拆方式,你还可以使用sitemap索引文件,比如下面这个例子。

 「十堰SEO」Robots.txt文件进阶使用方法

多个站点地图制作索引压缩例子

其他主流的搜索引擎也认这个索引格式。

那么问题来了,即便是这样,文件多且大,传输会变得非常没有效率。为了解决这个问题我们可以对站点地图进行GZIP压缩。像7-zip这样的压缩工具都可以对文件压缩。需要注意的是在压缩前你的单个站点地图文件仍然必须小于10MB并且包含URL数量小于五万条。

十堰SEO总结

以上就是我们介绍的robots.txt的高级应用,如果你再通过结合其他SEO方法,对网站排名相信能起到事半功倍的效果!

如没特殊注明,文章均为江浙沪网络推广,转载请注明来自https://www.seokaowo.com/html/news/
相关推荐新闻

网站SEO优化不仅仅是做搜索引擎排名,更应该关注的是优化

它还包括充分满足用户的需求、清晰的网站导航、完善的在线帮助等,在此基础上,使网站的功能和信息发挥...

日期:2021-01-09 浏览次数:332

贵阳seo优化推广的方法和途径你知道多少

SEO优化公司表示云网客是一套操作简单、高效率、低成本、覆盖全网络的网络营销推广系统。贵阳seo优化推...

日期:2021-01-03 浏览次数:279

电子邮件营销用实力诠释在数字营销浪潮中重要地位

电子邮件营销似乎在新兴营销渠道面前相形见绌。时下一个全新的视角对其所扮演的角色又一次定义。营销者...

日期:2021-01-09 浏览次数:266

「纸巾网络营销微观分析」

  纸巾网络营销微观分析: 影响纸巾销售的宏观因素-百度知道

日期:2021-01-04 浏览次数:265

南宁网络推广需要注意哪几点【找SEO优化】

SEO优化公司表示网络推广就是以企业产品或服务为核心内容,建立网站,南宁网络推广公司再把这个网站通过...

日期:2021-01-03 浏览次数:245

网站推广-如何提升内容的有效性

SEO优化公司指出的网站推广是可以使推广效果覆盖全网,网络营销无死角。不管是PC,还是手机端,不管是搜...

日期:2021-01-03 浏览次数:244

新北seo_seo公司

如何做好新北seo_seo公司seo公司是交通seo兄弟们(郦映)看到分析的事情,本次赠送新北seo_seo公司...

日期:2021-01-17 浏览次数:234

企业网站首页设计的四大要求分析

  企业网站是企业为了在互联网进行宣传和品牌建设而建设制作的代表企业网形象的网站,该网站...

日期:2021-01-18 浏览次数:234

搜索引擎优化的本质是什么?

很多人觉得真的太难了,他们把自己的心思和时间都花在某个关键词上面,排名没有上升,导致很多人想要放...

日期:2021-01-09 浏览次数:232

一份实用的seo整体优化方案

正常情况下单独优化网站的某一个点无法让网站发挥出最大的seo效果,通过对网站进行系统化诊断,...

日期:2021-01-16 浏览次数:231

相关标签
网站报价网站报价方案
网站建设解决方案
抖音推广解决方案 响应式网站建设方案 手机微信网站解决方案 旅游网站解决方案
志强网络拥有资深设计师团队和自主系统开发技术团队,为客户专业定制企业品牌网站、响应式网站、商城系统、手机微信网站、外贸网站、营销型网站、旅游网站、微信小程序、APP等。欢迎广大客户咨询!