coverer.com weblog: Robots.txt使用指南

January 22, 2006

Robots.txt使用指南

当搜索引擎访问一个网站时，它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。Robots.txt文件用于限定搜索引擎对其网站的访问范围，即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。下面我们简称RES。 Robots.txt文件的格式：Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成：

1) 一个User-Agent(用户代理)字符串行；
　　2) 若干Disallow字符串行。
　　记录格式为： ":"
　　下面我们分别对这两个域做进一步说明。
User-agent(用户代理)：
　　User-agent行(用户代理行) 用于指定搜索引擎robot的名字，以Google的检索程序Googlebot为例，有：User-agent: Googlebot
　　一个robots.txt中至少要有一条User-agent记录。如果有多条User-agent记录，则说明有多个robot会受到RES标准的限制。当然了，如果要指定所有的robot，只需用一个通配符"*"就搞定了，即：User-agent: *
Disallow(拒绝访问声明)：
　　在Robots.txt文件中，每条记录的第二个域是Disallow:指令行。这些Disallow行声明了该网站中不希望被访问的文件和(或)目录。例如"Disallow: email.htm"对文件的访问进行了声明，禁止Spiders下载网站上的email.htm文件。而"Disallow: /cgi-bin/"则对cgi-bin目录的访问进行了声明，拒绝Spiders进入该目录及其子目录。Disallow声明行还具有通配符功能。例如上例中"Disallow: /cgi-bin/"声明了拒绝搜索引擎对cgi-bin目录及其子目录的访问，而"Disallow:/bob"则拒绝搜索引擎对/bob.html和/bob/indes.html的访问(即无论是名为bob的文件还是名为bob的目录下的文件都不允许搜索引擎访问)。Disallow记录如果留空，则说明该网站的所有部分都向搜索引擎开放。
空格 & 注释
　　在robots.txt文件中，凡以"#"开头的行，均被视为注解内容，这和UNIX中的惯例是一样的。但大家需要注意两个问题：
　　1) RES标准允许将注解内容放在指示行的末尾，但这种格式并不是所有的Spiders都能够支持。譬如，并不是所有的Spiders都能够正确理解"Disallow: bob #comment"这样一条指令。有的Spiders就会误解为Disallow的是"bob#comment"。最好的办法是使注解自成一行。
　　2) RES标准允许在一个指令行的开头存在空格，象"Disallow: bob #comment"，但我们也并不建议大家这么做。
Robots.txt文件的创建：
　　需要注意的是，应当在UNIX命令行终端模式下创建Robots.txt纯文本文件。好的文本编辑器一般都能够提供UNIX模式功能，或者你的FTP客户端软件也“应该”能够替你转换过来。如果你试图用一个没有提供文本编辑模式的HTML编辑器来生成你的robots.txt纯文本文件，那你可就是瞎子打蚊子——白费力气了。
对RES标准的扩展：
　　尽管已经提出了一些扩展标准，如Allow行或Robot版本控制(例如应该忽略大小写和版本号)，但尚未得到RES工作组的正式批准认可。
附录I. Robots.txt用法举例：
　　使用通配符"*"，可设置对所有robot的访问权限。
　　User-agent: *
　　Disallow:
　　表明：允许所有搜索引擎访问网站下的所有内容。
　　User-agent: *
　　Disallow: /
　　表明：禁止所有搜索引擎对网站下所有网页的访问。
　　User-agent: *
　　Disallow: /cgi-bin/Disallow: /images/
　　表明：禁止所有搜索引擎进入网站的cgi-bin和images目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。
　　User-agent: Roverdog
　　Disallow: /
　　表明：禁止Roverdog访问网站上的任何文件。
　　User-agent: Googlebot
Disallow: cheese.htm
　　表明：禁止Google的Googlebot访问其网站下的cheese.htm文件。
　　上面介绍了一些简单的设置，对于比较复杂的设置，可参看一些大型站点如Looksmart的robots.txt文件(www.looksmart.com/robots.txt)

由 coverer 发表于 January 22, 2006 04:25 PM

回响

Cool Site. casino game

Posted by: casino game 发表于 April 15, 2006 05:10 AM

Awesome blog.casino poker [url=http://www.linkpal.com/casino-poker.html]casino poker[/url]

Posted by: casino poker 发表于 April 15, 2006 05:02 AM

Great site, thanks.free casino [url=http://www.linkpal.com/free-casino.html]free casino[/url]

Posted by: free casino 发表于 April 15, 2006 04:37 AM

Thanks! debt reduction

Posted by: debt reduction 发表于 April 14, 2006 08:29 PM

Wonderful Site.debt consolidation

Posted by: Janet715 发表于 April 14, 2006 06:33 PM

LOL. consolidate debt

Posted by: consolidate debt 发表于 April 14, 2006 06:25 PM

gay erotic stories gay hunks scat pictures scat fetish fuck tit throat fuck shaved petite beavers free shaved teens oral sex free sex clips large cocks black cock serena williams photos new paris hilton videos cartoon porno nude cartoon natalie portman nude non nude teens fat granny bbw porn mature amateurs amateur hardcore porn for women black women office gangbang big bang theory rubber fetish sock fetish natural redhead redhead anal free sex video free paris hilton video lightspeed university cheerleaders free cheerleader galleries asian teen asian girls hot jessica simpson naked naked wives amateur porn paris hilton porn nudist teen xxx teens louise hodges hardcore hardcore sluts free adult sex stories free adult movie clips sex cam webcam chat cute brunettes brunette hardcore rape sites domestic violence black models huge black tits blonde anal anal rimming porn pictures gay sex up close pussy vagina close up girls aloud teenage girl beautiful latina models latina anal blonde college coed blonde women pornstar houston naked porn stars guides masturbations female masturbation erotica free incest pics incest free stories eating cum livermore ca real estate big tit breast augmentation public pissing piss panties shemale vids free shemale sex new movies fantastic four movie mature woman mature lingerie pussy movies close up pussy perfect ass butt plug animal sex free animal sex pics thong upskirt gallery voyeur video celebrity cruise celebrities exposed thongs backyard lesbian orgy hot lesbian sex anime nude love hina hentai interracial creampie interracial video young nude models beautiful models blonde babes black babe stocking fever white stockings galleries bikini thong gallery avril lavigne bikini public blowjobs free blowjob videos hot teen girls

Posted by: girl masterbating 发表于 April 14, 2006 08:59 AM

women fucking dogs women naked latina booty dirty latina maids big fat ass booties pictures of fat people obesity brigitte nielsen nude michelle vieth desnuda mature bitches nude mature women free blonde blowjobs blonde pussy fantasy rape stories rape gallery leupold tactical models make it a hit lowrider models amateur hardcore nude amateurs incest story twin incest free adult flash games marge simpson adult tight butts nice butt video clips of tsunamis free music videos celebrity sex videos celebrity upskirt teen movies free teen pics babes in stockings pantyhose legs lesbian cheerleader cheerleaders naked indian gangbang bang bang nude asian girls models nude micro bikini contest sexy bikini masturbation techniques men lesbian fingering masturbation video free cartoon porn x-rated cartoons cunt close up up close sex blonde fuck big boobs tit fuck french hardcore sex happy hardcore black cat paint it black pile of shit scat man hot brunette teen brunette cumshot pissing lesbians pee video mr chews asian beaver asian babe teen shemales black shemales hot young girls gilmore girls fetish clothing latex fetish tara reid nude nude celeb free pussy pics look in a vagina women having sex with dogs sex with animal gay black men gay naked men redhead nude naked redheads shaved penis shaved pubes dog cum cum fiesta naked porn stars porn stars lesbian kiss free lesbian video russian babes babes gallery gay anal anal sex pics toon sex simpsons sex cock massive blowing a horse cock free blowjob blonde blowjobs live sex cams free webcams big tits round asses stephanie mcmahon breasts teen upskirts free voyeur photos naruto hentai disney hentai interracial cuckold humiliation interracial frenzy sex movie free full length porn movies digimon porn porn movie young naked girls naked wives pussy fucking

Posted by: hairless pussy 发表于 April 14, 2006 08:30 AM

Posted by: hairless pussy 发表于 April 14, 2006 08:26 AM

发表回响