Yahoo!, Google e Microsoft em esforço conjunto no protocolo sitemaps

Ontem, dia 27 de fevereiro, o Yahoo, Google e Microsoft fizeram uma atualização de esforço conjunto no protocolo do sitemaps com o objetivo de tornar mais fácil a vida dos webmasters e melhorar a forma como o sitemaps é submetido aos mecanismos de busca.

O que é sitemap?

O sitemap é um padrão da web para informar que (ou quais) páginas da web estão disponíveis para serem indexados pelos mecanismos de busca. Trata-se de um (ou mais) arquivo de XML que lista os endereços de todas as páginas de um site, incluindo meta-informações sobre elas, de modo que os mecanismos de busca possam indexar facilmente.

O que é que muda e como isso funciona?

A grande mudança divulgada ontem, é que a partir de agora o sitemap pode ser hospedado em qualquer lugar e não necessariamente debaixo do mesmo domínio do site a ser indexado. mas para isso é necessário usar como referência o robots.txt (leia sobre robots.txt aqui) onde, obviamente, este sim deverá estar hospedado na raiz do site a ser indexado. Amarrando o endereço do sitemap ao robots.txt você assegura a propriedade do domínio.

Para entender melhor na prática a relação entre sitemap e robots.txt, vejamos um exemplo. Imagine que meu domínio principal seja http://revolucao.etc.br e além dele eu possuo uma rede de sites mas com seus domínios próprios, como por exemplo http://mobile.revolucao.etc.br e http://tecnologia.etc.br e assim por diante. Eu poderia hospedar o sitemaps em qualquer um dos 3 domínios ou ainda em um quarto domínio qualquer, desde que, no robots.txt de cada um dos 3 sites do exemplo, eu coloque uma linha dentro do robots.txt da seguinte maneira:

Sitemap: http://www.iana.org/domains/example/

A colaboração entre o Google, Yahoo! e Microsoft iniciou em novembro de 2006 (a página não está mais disponível – http://www.ysearchblog.com/archives/000380.html) quando eles anunciaram juntos o suporte ao protocolo sitemaps. A partir dessa empreitada eles já haviam implementado suporte ao auto descobrimento do sitemaps via robots.txt em abril do ano passado.

Leia na íntegra o que o Yahoo! (a página não está mais disponível – http://www.ysearchblog.com/archives/000524.html), Google e Microsoft publicaram sobre este parceria.