Disallow

Robots.txt – controlando o que os mecanismos de busca NÃO devem indexar

O arquivo robots.txt já é um padrão utilizado no mundo inteiro para declarar para os mecanismos de busca o que eles não devem indexar em um site. Esta é uma técnica “antiga”, mas ainda muito útil e que mesmo assim, muitos ainda desconhecem. Este texto é uma compilação das anotações que tenho feito sobre a utilização de robots.txt e que podem ser úteis para qualquer pessoa que queira esconder qualquer coisa que esteja disponível na web mas que por uma razão ou outra deve ser privada e não indexada pelos mecanismos de buscas.

Continue Lendo »