Robots.txt n'est pas une mesure de sécurité

Je suis de plus en plus à venir sur des gens qui pensent robots.txt fichier peut être utilisé pour empêcher les robots des moteurs de recherche d'explorer des données sensibles dans leurs sites Web. Sérieusement.

C'est tout simplement faux. Données à exclure à l'aide d'un fichier robots.txt est: non désirées, ou inutiles les données redondantes. Une entrée dans le fichier robots.txt ne peut pas protéger vos données sensibles de sortir. Les données sensibles ne devraient pas être laissée ouverte dans votre site Web en premier lieu.

Il ya beaucoup de robots malveillants qui rampent seulement les pages bloquées par le fichier robots.txt dans chaque site. Je parie que beaucoup de choses intéressantes se retrouvera dans leurs résultats de recherche.