Startseite Blogrobtos.txt

robtos.txt

Dem Robots Exclusion Standard-Protokoll zufolge liest ein Webcrawler oder Suchmaschinen-Bot vor dem Seiteninhalt die Datei robots.txt (Textdatei) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festlegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Serverbetreiber haben so die Möglichkeit ausgesuchte Bereiche ihres Servers für (bestimmte) Suchmaschinen zu sperren.
Die meisten (echten) Suchmaschinen halten sich auch daran.
Hier finden Sie Tools zum Erstellen und Überprüfen Ihrer robots.txt.

Diese Seite enthält aktuell keine Links, da wir bei Überprüfungen feststellen mussten, das bis dato 67% aller Links nicht mehr stimmen. Daher sind wir derzeit unschlüssig, inwieweit wird die wohl größte Linksammlung zum Thema fortführen, wenn nach ein paar Monaten mehr als jeder zweite Link nicht mehr stimmt. Denn damit ist schließlich auch keinem geholfen.

Theresienstraße 28
D-94032 Passau

Tel.: +49 (0)851/ 966 31-31
Fax: +49 (0)851/ 966 31-41
E-Mail:

©  2001 − 2014  NETPROFIT  | Kontakt | AGB | Impressum