Aussperren dynamischer Seiten per robots.txt
Wenn man nicht möchte das dynamisch erzeugte Seiten im Google Index aufgenommen werden, kann man – so schreibt Google -:
1. dynamische Seiten über die URL Console aus dem Index entfernen
2. Google von vornerein darin hindern diese Seiten überhaupt erst aufzunehmen
Funktionieren soll das ganze ja angeblich über:
To remove dynamically generated pages, you’d use this robots.txt entry:
User-agent: Googlebot
Disallow: /*?
Punkt 1 hab ich mich noch nicht gewagt auszuprobieren, Punkt 2 scheint nicht zu funktionieren. Hat irgendjemand schonmal irgendwelche Erfahrungen damit machen können?
Der Googlebot kann angeblich mit Whitecards in der robots.txt umgehen, also würde das einfach den Bot bitten URLs mit einem Fragezeichen drin nicht aufzunehmen.
Vor einiger Zeit hat das insofern funktioniert dass der Bot die Inhalte der Seiten nicht geholt und Google diese dementsprechend nicht angezeigt hat, in den SERPs aufgetaucht sind die Seiten trotzdem.
(Und wieder einmal sind wir bei dem Problem was die robots.txt überhaupt bewirkt bei Google und generell bewirken soll… )
Jan
30 Nov 05 at 11:43 pm
>>in den SERPs aufgetaucht sind die Seiten trotzdem.
Mit cache oder ohne im Index?
Ich mach jetzt einfach mal ne Testseite, mit einigen dynamischen URLs und entferne die dann nach o.g. Muster per URL Console, mal sehen was dann passiert.
Mario
30 Nov 05 at 11:47 pm
Ohne Cache – der Bot hat die Seiten ja nicht besucht. Bloß wurden sie eben wieder durch Links gelistet.
Wird wohl das beste sein hier einfach deine Testergebnisse abzuwarten. Durch die explizite Beschränkung der Regeln auf den Googlebot könnte das Ergebnis vielleicht gar nicht so schlecht ausfallen.
Jan
1 Dez 05 at 2:22 am
ja schaun wir mal, mit:
User-agent: *hatte ich ja eh so meine Problemchen
Mario
1 Dez 05 at 9:39 am
Eine andere Möglichkeit wäre über die htaccess den oder die Bots für die nicht zu indizierenden u/o zu löschenden Seiten auf ‘n ReturnCode 410 “umzuleiten”. Das scheint mir etwas ungefährlicher als am “offenen Herzen” zu operieren.
Thomas
2 Jan 06 at 1:48 am
[...] Wo wir wieder bei diesem Thema wären. [...]
» Google Blogsearch Suchabfragen im Index Suchmaschinen News
11 Jan 06 at 2:24 am