Todos os artigos com a tag robots.txt

Yahoo!, Google e Microsoft em esforço conjunto no protocolo sitemaps

Ontem, dia 27 de fevereiro, o Yahoo, Google e Microsoft fizeram uma atualização de esforço conjunto no protocolo do sitemaps com o objetivo de tornar mais fácil a vida dos webmasters e melhorar a forma como o sitemaps é submetido aos mecanismos de busca.  Leia o restante deste artigo »

Robots.txt – controlando o que os mecanismos de busca NÃO devem indexar

O arquivo robots.txt já é um padrão utilizado no mundo inteiro para declarar para os mecanismos de busca o que eles não devem indexar em um site. Esta é uma técnica “antiga”, mas ainda muito útil e que mesmo assim, muitos ainda desconhecem. Este texto é uma compilação das anotações que tenho feito sobre a utilização de robots.txt e que podem ser úteis para qualquer pessoa que queira esconder qualquer coisa que esteja disponível na web mas que por uma razão ou outra deve ser privada e não indexada pelos mecanismos de buscas.

 Leia o restante deste artigo »