Warum funktioniert meine Robots.txt nicht (Google, Webseite)?
Ich wollte einzelne Links von meiner Webseite aus der Google Suche entfernen lassen.
Habe dafür die Robots.txt verwendet. Leider möchte Google die Links nach einer Woche warten trotzdem nicht entfernen. Ich habe die Robots.txt auch schon mit dem Google Robots.txt tester getestet. Da sagt er mir, er kann die Datei lesen. Die Robotsdatei wurde auf jeden fall richtig beschrieben. Daran kann es auch nicht liegen.
Hmm jetzt frage ich mich woran es liegen könnte?
Jemand nh Idee?
LG
4 Antworten
Klassischer Fehler. Ohne die Urls die bei Google raus sollten, in deren jeweiligem Quelltext nicht auf die Robots Einstellungen "noindex" zu stellen, passiert erstmal nichts. Wenn dann zeitgleich über die Robots.txt Google untersagt wird, nachzugucken, ob und damit zu erfahren, DASS eine URL deindexiert werden soll, passiert das gewünschte Ergebnis noch weniger. Wenn sich die Robots Einstellungen nicht mehr herstellen lassen, nimm die URLs aus der robots.txt und schmeiß sie über das Removal Tool von der GSC aus dem Index. Das ist nicht nur für "vorübergehend". Kann dann passieren dass anstelle eines Bildes zb ein Sitemap Link angezeigt wird, dann müsste man weiter schauen was man genau tut, aber so weit kommt es meist nicht.
Du musst unterscheiden zwischen robots.txt und meta robots-tag.
Mit einem "Disallow" in der robots.txt unterbindest du nur das Crawling, jedoch nicht die Indexierung. Das bedeutet, dass der Google Bot nicht auf die Seite zugreifen kann, was wiederum nicht bedeutet, dass sie nicht in den index darf. In den Google Suchergebnis Seiten sind dann diese Ergebnisse meist mit dem Text "Für diese Seite sind keine Informationen verfügbar." zu finden. Es geht zwar auch ein NoIndex über die robots.txt auszulösen, allerdings wird das offiziell nicht von Google Supportet und ist daher mit Vorsicht zu betrachten.
Wenn du eine Seite über den Meta-Tag "Robots" auf "noindex" setzt, wird die Seite nicht mehr indexiert, allerdings muss dafür wenn die Seite schon mal im index von Google war, der GoogleBot diesen Meta Status mindestens 4 Crawlen über ein paar tage hinweg, es muss also beständig sein, damit es Akzeptiert wird.
Wenn es diese Seiten (URLs) nicht mehr gibt und du sie gezielt aus dem Index entfernen möchtest, solltest du für diese den HTTP-Statuscode 410 ausspielen, 410 steht für "Gone" und signalisiert somit dem Google Bot dass diese Seite nicht mehr existiert und aus dem Index zu entfernen ist.
Das entfernen von URLs aus dem Index über die Google Search Console, ist nur eine Temporäre Sache und nur als kurzfristige Lösung gedacht, genauer betrachtet, wird die URL dabei auch nicht aus dem Index gelöscht sondern nur "ausgeblendet" aus den SERPs (Suchergebnis Seiten).
Ich hoffe dass hilft dir ein bisschen weiter, falls nicht frag gerne noch mal nach ;-)
Du kannst nicht schon indexierte Links mit einer robots.txt Datei aus den SERPS entfernen - dazu hat Google das URL remover tool (Webmasters Tools), das aber auch nicht automatisch und sofort die Links entfernt.
robot.txt haelt normalerweise bots davon ab eine Seite zu indexieren, aber auch nicht 100%. Ganz sicher kannst du nur sein wenn du die Seite mit Passwort sperrst - was natuerlich nicht in allen Faellen praktisch ist.
Wie lange hast du Google schon Zeit gegeben? Denn der Prozess in Google nimmt oft mehrere Stunden, wenn nicht sogar manchmal Tage in Anspruch, denn die Daten müssen auf jedem Google Server auf der Welt aktualisiert werden.
Ja habe nh Woche gewartet wie oben geschrieben. LG
Auja. Entschuldigung habe ich dann wohl komplett überlesen.
Hey, das URL remover tool von Google ist leider nur für vorübergehende Löschung.
Die Links die Google löschen soll sind zu dem ungültig. Heißt sie existieren nur in der Google Suche.