html6sh@vip.163.com
QQ:3272893092
分享数：2
index、noindex、follow、nofollow的使用；
爬虫是目前最常见的网络程序，曾经有过统计，说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见，但是并不代表这种做法就是合理合法的。
在抓取网页时，我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按：第一种是在站点的根目录下增加一个纯文本文件，例如http://www.aaa.com/robots.txt。第二种是直接在页面中使用robots的meta标签。
接下来，详细介绍一下robots的meta标签。标签有四类：index、noindex、follow、nofollow。使用时以逗号分隔。
index指令：表示Robot可以索引本页;
follow指令：表示Robot可以跟踪本页链接;
noindex指令：表示拒绝Robot索引本页，但可跟踪该页上的链接;
nofollow指令：表示拒绝Robot跟踪本页链接，但可索引本页
根据以上的命令，我们就有了一下的四种组合：
<META CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接
<META CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接
<META CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
<META CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接。
这里需要注意的是，不要把两个对立的反义词写到一起，例如
<META CONTENT="INDEX,NOINDEX">
还有一点，禁止搜索引擎建立快照。
<meta content="noarchive">
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
<meta content="noarchive">
这样的标记是禁止搜索引擎为你的网站建立快照。
Meta标签的使用；
meta标签的组成
meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。
1、name属性
name属性主要用于描述网页，与之对应的属性值为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。
meat标签的name属性语法格式是：＜meta content="具体的参数值"＞ 。
其中name属性主要有以下几种参数：
A、Keywords(关键字)
说明：keywords用来告诉搜索引擎你网页的关键字是什么。
举例：＜meta name ="keywords" content="science, education,culture,politics,ecnomics，relationships, entertaiment, human"＞
B、description(网站内容描述)
说明：description用来告诉搜索引擎你的网站主要内容。
举例：＜meta content="This page is about the meaning of science, education,culture."＞
C、robots(机器人向导)
说明：robots用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。
content的参数有all,none,index,noindex,follow,nofollow。默认是all。
举例：＜meta content="none"＞
D、author(作者)
说明：标注网页的作者
举例：＜meta content="zys666,zys666@21cn.com"＞
2、http-equiv属性
http-equiv顾名思义，相当于http的文件头作用，它可以向浏览器传回一些有用的信息，以帮助正确和精确地显示网页内容，与之对应的属性值为content，content中的内容其实就是各个参数的变量值。
meat标签的http-equiv属性语法格式是：＜meta http-equiv="参数" content="参数变量值"＞ ；其中http-equiv属性主要有以下几种参数：
A、Expires(期限)
说明：可以用于设定网页的到期时间。一旦网页过期，必须到服务器上重新传输。
用法：＜meta http-equiv="expires" content="Fri, 12 Jan 2001 18:18:18 GMT"＞
注意：必须使用GMT的时间格式。
B、Pragma(cache模式)
说明：禁止浏览器从本地计算机的缓存中访问页面内容。
用法：＜meta http-equiv="Pragma" content="no-cache"＞
注意：这样设定，访问者将无法脱机浏览。
C、Refresh(刷新)
说明：自动刷新并指向新页面。
用法：＜meta http-equiv="Refresh" content="2；URL=http://www.chinayancheng.net"＞
注意：其中的2是指停留2秒钟后自动刷新到URL网址。
D、Set-Cookie(cookie设定)
说明：如果网页过期，那么存盘的cookie将被删除。
用法：＜meta http-equiv="Set-Cookie" content="cookievalue=xxx; expires=Friday, 12-Jan-2001 18:18:18 GMT； path=https://www.fractal-technology.com/"＞
注意：必须使用GMT的时间格式。
E、Window-target(显示窗口的设定)
说明：强制页面在当前窗口以独立页面显示。
用法：＜meta http-equiv="Window-target" content="_top"＞
注意：用来防止别人在框架里调用自己的页面。
F、content-Type(显示字符集的设定)
说明：设定页面使用的字符集。
用法：＜meta http-equiv="content-Type" content="text/html; charset=gb2312"＞
meta标签的功能
上面我们介绍了meta标签的一些基本组成，接着我们再来一起看看meta标签的常见功能：
１、帮助主页被各大搜索引擎登录
meta标签的一个很重要的功能就是设置关键字，来帮助你的主页被各大搜索引擎登录，提高网站的访问量。在这个功能中，最重要的就是对Keywords和description的设置。因为按照搜索引擎的工作原理,搜索引擎首先派出机器人自动检索页面中的keywords和decription，并将其加入到自己的数据库，然后再根据关键词的密度将网站排序。因此，我们必须设置好关键字，来提高页面的搜索点击率。下面我们来举一个例子供大家参考：
＜metalemma-word" data-id="1006">keywords" content="政治,经济, 科技,文化, 卫生, 情感，心灵，娱乐，生活，社会，企业，交通"＞
＜meta content="政治,经济, 科技,文化, 卫生, 情感，心灵，娱乐，生活，社会，企业，交通"＞
设置好这些关键字后，搜索引擎将会自动把这些关键字添加到数据库中，并根据这些关键字的密度来进行合适的排序。
２、定义页面的使用语言
这是meta标签最常见的功能,在制作网页时,我们在纯HTML代码下都会看到它,它起的作用是定义你网页的语言,当浏览者访问你的网页时,浏览器会自动识别并设置网页中的语言,如果你网页设置的是GB码,而浏览者没有安装GB码,这时网页只会呈现浏览者所设置的浏览器默认语言。同样的,如果该网页是英语,那么charset=en。下面就是一个具有代表性的例子：
＜meta http-equiv=″content－Type″ content=″text/html; charset=gb2312″〉
该代码就表示将网页的语言设置成国标码。
３、自动刷新并指向新的页面
如果你想使您的网页在无人控制的情况下，能自动在指定的时间内去访问指定的网页，就可以使用meta标签的自动刷新网页的功能。下面我们来看一段代码：
〈meta http-equiv=″refresh″ content=″２; URL=http://www.yeah.net″〉
这段代码可以使当前某一个网页在２秒后自动转到http://www.yeah.net页面中去,这就是meta的刷新作用,在content中,２代表设置的时间（单位为秒）,而URL就是在指定的时间后自动连接的网页地址。
４、实现网页转换时的动画效果
使用meta标签，我们还可以在进入网页或者离开网页的一刹那实现动画效果，我们只要在页面的html代码中的＜head＞＜/head＞标签之间添加如下代码就可以了：
＜meta http-equiv="Page-Enter" content="revealTrans(duration=５.０, transition=２０)"＞
＜meta http-equiv="Page-Exit" content="revealTrans(duration=５.０, transition=２０)"＞
一旦上述代码被加到一个网页中后，我们再进出页面时就会看到一些特殊效果，这个功能其实与FrontPage2000中的Format/Page Transition一样，但我们要注意的是所加网页不能是一个Frame页;
５、网页定级评价
IE4.0以上版本的浏览器可以防止浏览一些受限制的网站,而之所以浏览器会自动识别某些网站是否受限制,就是因为在网站meta标签中已经设置好了该网站的级别,而该级别的评定是由美国RSAC,即娱乐委员会的评级机构评定的,如果你需要评价自己的网站,可以连接到网站http://www.rsac.org/,按要求提交表格,那么RSAC会提供一段meta代码给你,复制到自己网页里就可以了。下面就是一段代码的样例：
〈meta http-equiv=″PICS－Label″
content=′(PICS－1.1 ″http://www.rsac.org/ratingsv01.html″
l gen true comment ″RSACi North America Server″
for ″http://www.rsac.org″
on ″2001.08.16T08:15－0500″
r (n 0 s 0 v 0 l 0))′〉
６、控制页面缓冲
meta标签可以设置网页到期的时间,也就是说,当你在Internet Explorer 浏览器中设置浏览网页时首先查看本地缓冲里的页面,那么当浏览某一网页,而本地缓冲又有时,那么浏览器会自动浏览缓冲区里的页面,直到meta中设置的时间到期,这时候,浏览器才会去取得新页面。例如下面这段代码就表示网页的到期时间是2001年1月12日18时18分18秒。
〈meta http-equiv=″expires″ content=″Friday, 12-Jan-2001 18:18:18 GMT″〉
７、控制网页显示的窗口
我们还可以使用meta标签来控制网页显示的窗口，只要在网页中加入下面的代码就可以了：＜metahttp-equiv="window-target" content="_top"＞，这段代码可以防止网页被别人作为一个Frame调用
robots.txt作用及其使用
robots.txt就是一份网站和搜索引擎双方签订的规则协议书，是搜索引擎中访问网站的时候要查看的第一个文件。首先爬行来检查该站点根目录下是否存在robots.txt。如果存在，蜘蛛就按照协议上规定爬行抓取；没有robots.txt，蜘蛛会随着链接爬行进行抓取。
理解User-agent和Disallow的定义：
User-agent：该项用于描述搜索引擎蜘蛛的名字；Disallow：该项用于描述不希望被抓取和索引的一个URL，这个URL可以是一条完整的路径
下面是一些robots.txt基本的用法：
1、禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /
2、允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件robots.txt
3、禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
4、禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
5、只允许某个搜索引擎的访问（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
TAG标签耗时：0.0082080364227295 秒
如没特殊注明，文章均为江浙沪网络推广,转载请注明来自https://www.seokaowo.com/html/news/
返回列表
- 下一篇： 动态网站环境在Linux中运用问题
- 上一篇： 建设静态网站的部署方法
志强网络拥有资深设计师团队和自主系统开发技术团队，为客户专业定制企业品牌网站、响应式网站、商城系统、手机微信网站、外贸网站、营销型网站、旅游网站、微信小程序、APP等。欢迎广大客户咨询！
