Robots.txt e a configuração do seu Site
04/04/2011 14:31
O Conceito do Robots.txt
O robots.txt é um arquivo de configuração presente na raiz dos sites e que serve para guiar o comportamentos dos crawlers, dizendo para os mecanismos de busca o que eles...