Benutzerdefinierte Suche

Robots Text

Noch was neues...Robots Text..was ist das denn ?

Was ist nun “Robots Text” ? Richtig heißt es eigentlich “robots.txt .

Sie ist eine Seite oder Datei die mit einem bestimmten Inhalt, um bestimten Crawlern mitzuteilen “Stop- hier ist für euch Ende”

Es ist also eine eindeutige Anweisung für die robots, was sie, bzw. wohin sie nicht dürfen , dabei kann man allen den Zugriff untersagen oder auch nur einigen bestimmten, je nach belieben. Da ja einige “schwarze Schafe” unter diesen unterwegs sind und sich auf das finden von Mailadressen spezialisiert haben, ist es also sinnvoll eine robots.txt einzusetzen.

Was eine “robots.txt” alles beinhalten sollte ist auf einigen Seiten sehr gut erklärt

eine ist diese hier; selfhtml.org

eine weitere diese ; bjoernsworld.de

Beinahe hätte ich sie vergessen, die Seite, auf welcher sogar schon eine vorbereitet ist ,und zwar diese hier …

http://www.abakus-internet-marketing.de

Wenn man auf der Seite ganz nach unten scrollt steht dann “beispieltext” zum herunterladen, die wurde vom Seitenbetreiber schon vorbereitet und kann so verwendet werden.