Google vill att robots.txt ska bli en webbstandard. Släpper nu sin parser för detta som open source.

Teknik

Motor

Samhälle

Spel

Popkultur

Fritid

Tjock

Tester

Dagens fråga

Tipsa!

Skaffa Feber+

Hetaste

Senaste

Google vill att robots.txt ska bli en webbstandard

Släpper nu sin parser för detta som open source

Foto: Google

Google gör nu ett försök att skapa en officiell standar på hur så kallade web crawlers, sökmotorer och andra spindlar som söker igenom webben, ska indexera och hantera alla webbsidor de besöker.

Man kan väl säga att den så kallade "robots.txt"-filen redan fungerar som en slags inofficiell standard. Google vill dock förbättra hur olika spindlar hanterar denna fil och skapa en officiell standard av det som officiellt kallas "Robots Exclusion Protocol (REP)".

För att bidra till att REP blir en officiell standard släpper nu Google sin egen parser för robots.txt-filer som open source så att andra kan använda detta för att hantera robots.txt-filerna så effektivt så möjligt. Google skriver i ett blogginlägg:
"We wanted to help website owners and developers create amazing experiences on the internet instead of worrying about how to control crawlers. Together with the original author of the protocol, webmasters, and other search engines, we've documented how the REP is used on the modern web, and submitted it to the IETF."
När väl Google och deras samarbetspartners är klara med sitt förslag för en officiell standard till REP kommer det att bli upp till medlemmarna i IETF (Internet Engineering Task Force) att bestämma om det hela blir en officiell standard.

webmasters.googleblog.com

Internet, Google,

sökmotorer, REP, robots.txt, standarder, webbstandard, parser, open source

Via webmasters.googleblog.com

Google önskar oss en glad Halloween

Ett litet påskägg i robots-filen