Wenas hace time k voy viendo ese txt en los ftp de las webs pero realmente k utilidad tiene? es eficiente?
Muchas gracias 
Decir a los robots lo que deben hacer. Por ejemplo, si quieres que el rastreador de Google no indexe contenidos de tu web, se lo has de decir en robots.txt.
eso se puede hacer con metatags, se puede mejorar las palabras clave o algo asin con el robot.txt? o no sirve pana xD
salid@X
no, solo sirve para que los robots puedan indexar unas cosas u otras, para decirle a los robos que se puede indexar y que no.
si no quieres que el espacio de tu web dedicado a fotos de pornografia infantil salga en mitad del google y te pille la pasma debes ponerlo en robots.txt !
