Robots.txt ist nicht eine Sicherheitsmaßnahme

Ich bin zunehmend auf Menschen, die denken "robots.txt" -Datei kann verwendet werden, Websites zu verhindern, ihre Suchmaschinen-Crawler Crawlen sensible Daten in. Ernsthaft.

Das ist schlicht falsch. Daten in die Datei ausgeschlossen werden mithilfe einer robots.txt ist: unerwünschte, überflüssigen oder nutzlosen Daten. Ein Eintrag in der robots.txt-Datei kann nicht schützen Sie Ihre sensiblen Daten aus Ausgehen. Sensible Daten sollten nicht offen gelassen werden Ihre Website in den ersten Platz.

Es gibt viele schädliche Raupen kriechen die Website nur die einzelnen Seiten blockiert durch die robots.txt-Datei in. Ich wette, viele interessante Sachen finden lassen in ihren Suchergebnissen.