Die Frage hier müsste lauten: Wie verhindere ich, dass Google den Zugang zu meiner Administrationsoberfläche (in diesem Fall Parallels Plesk Panel) in den Index aufnimmt? Ich habe heute die Erfahrung machen müssen, dass das Administratoren-Frontend meines Servers in der Google-Suche für eine meiner gehosteten Seiten aufgetaucht ist. Auch wenn die Überschrift es vielleicht anders deuten lässt, aber Google tut damit natürlich nichts verbotenes, denn das Plesk Panel von Parallels ist nun mal eine Webseite, die meistens sowohl über die IP-Adresse des Servers, als auch über die dazugehörigen Domains aufrufen lässt.
Damit diese Oberfläche nicht mehr in den Google Suchergebnissen angezeigt wird, sind zwei Schritte notwendig.
1. Schritt: Eine robots.txt im Plesk-Verzeichnis hinterlegen
Im Plesk-Verzeichnis auf dem Server sollte eine robots.txt mit folgendem Inhalt hinterlegt werden:
User-agent: * Disallow: /
Das Plesk-Verzeichnis findet ihr unter: /opt/psa/admin/htdocs (In einigen älteren Installationen gegebenenfalls noch unter /usr/local/psa/admin/htdocs )
Nach dem Anlegen der Datei, gilt es zu überprüfen, ob die Robots-Datei auch wirklich nur für das Plesk-Verzeichnis aktiv ist, denn sonst hätte das fatale Folgen für das Listen eurer Seite im Google-Index. Dies könnt ihr tun, indem ihr https://meinedomain.de:8443/robots.txt aufruft und eure eben erstellte robots.txt abrufen könnt. http://meinedomain.de/robots.txt sollte allerdings einen anderen Inhalt anzeigen.
Information: Die robots-Datei sagt Google, dass sie den Inhalt (in diesem Fall alles) nicht indexieren soll. Weitere Informationen findet man dazu auf der Google-Hilfe-Seite zur robots.txt.
Mit dem Anlegen der Datei die Arbeit noch nicht erledigt, denn Google kann immer noch die Seite mit dem Hinweis „Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar.“ anzeigen. Deswegen muss diese Seite noch aus dem Google Index genommen werden.
2. Schritt: Die betroffene Seite aus dem Index löschen
Über die Webmaster-Tools-Seite von Google kann die Seite aus dem Index gelöscht werden. Hierzu muss lediglich der komplette Pfad eingetragen werden. Zum Beispiel: https://meinedomain.de:8443.
Anschließend kann auf der oben genannten Seite nachverfolgt werden, was mit dem Löschungsantrag passiert ist. Dies sollte auch im Auge behalten werden.
