Robots.txt – controlando o que os mecanismos de busca NÃO devem indexar
Por: Henrique C. Pereira
Publicado em Friday 02 March 2007 às 15:45Categoria: HTML/CSS/JScript, User Experience // Tags: Disallow, Google, robots.txt, User Agent
O arquivo robots.txt já é um padrão utilizado no mundo inteiro para declarar para os mecanismos de busca o que eles não devem indexar em um site. Esta é uma técnica “antiga”, mas ainda muito útil e que mesmo assim, muitos ainda desconhecem. Este texto é uma compilação das anotações que tenho feito sobre a utilização de robots.txt e que podem ser úteis para qualquer pessoa que queira esconder qualquer coisa que esteja disponível na web mas que por uma razão ou outra deve ser privada e não indexada pelos mecanismos de buscas.