Wildcards in Robots.txt
Neben Google unterstützt nun auch Yahoo eine Möglichkeit Wildcards in der Robots.txt anzugeben.
Gerade zum Vermeiden von Session IDs in den Suchergebenissen ist das sehr nützlich.
Dies kann man nun ganz einfach so lösen:
Disallow: /*?sessionid
Als Wildcard Characters werden nun *, ? und $ unterstützt.
Nachlesen kann man das auf Yahoo Blog
Endlich ist es soweit *froi ^^, und dafür habe ich letztens überall nofollow Attribute eingebaut *hümpf ^^
Na ja, besser spät als nie das sowas kommt
w4yne
5 Nov 06 at 10:54 am
[...] So, gefunden habe ich das ganze hier, weiterführendes im Yahooblog. Sooo, näheres zur Robots.txt bei wikipedia oder auf robotstxt.org. [...]
w4yne » Blog Archive » Wildcards in Robots.txt
5 Nov 06 at 11:07 am