Robots Txt

Neste post vou ensinar como configurar seu arquivo robotstxt no novo blogger

O arquivo robots.txt é um arquivo de texto que dá algumas recomendações para todos os rastreadores motor de busca e regras Robots (Recomendações , não obrigações). Mas as primeiras coisas primeiro.

Um rastreador é um robô de uma entidade (normalmente navegadores) que acessam as páginas de um lugar para encontrar informações sobre ele, adicione nos motores de busca. Também chamado de aranhas, robôs ou indexadores

Googlebot é o nome do rastreador motor de busca Google. Mediapartners-Google, que é o indexador que é responsável por revisar os anúncios do Google Adsense. Googlebot-Image robot indexação de Imagens do Google. Slurp, motor de busca Yahoo! rastreador indexação Noxtrumbot,motor de pesquisas do Noxtrum finder. Scooter, o motor de pesquisa Altavista.

Impedir o acesso a bots específicos: Pode parecer contraditório, mas algumas crawlers, mas não nos dão problemas. Alguns não são robôs do Search Engine, e até mesmo alguns robôs não são amigos. Mas falaremos sobre isso mais tarde. Reduzir a sobrecarga no servidor: Você pode controlar o fluxo de alguns robôs. Alguns deles são uma verdadeira falta de pedidos de controle que podem saturar o servidor. Ban áreas: Nós podemos querer ter uma área disponível em nosso site, acessível a alguns, mas não aparece nos motores de busca. Excluir conteúdo duplicado: Um dos mais importante, que é quase sempre ignorada pelos webmasters. Se eliminar a duplicação de conteúdo, pontuar cada motor de busca muito alto, aumentando o fluxo de visitantes. Anexar mapas de sites: Você também pode anexar um mapa do site para indicar o caminho certo para robôs.

Em User-agent deve digitar o nome do robô, e, em seguida, rotas onde queremos proibir o acesso.

Disallow: / proibido o acesso a todo o site. Disallow: / search / proibido o acesso as entradas do search evita duplicados. Disallow: permite a entrada a todo o site.

Exemplo

# Crawler de MSN User-agent: msnbot Disallow: /links.html Disallow: /private/ Disallow: /photos/

Meu arquivo robot.txtque acho o ideal

User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Disallow: User-agent: msnbot Disallow: User-agent: Slurp Disallow: User-agent: Scooter Disallow: User-agent: noxtrumbot Disallow: User-agent: * Disallow: /search Sitemap: URL DO SEU SITE//feeds/posts/default?orderby=UPDATED

Como conferir seu arquivo robottxt




Para saber achar seu arquivo robot txt na nova interface do blogger olhe o print lá mostra mas vamos ao nosso blog

NOSSO BLOG · Definições › Preferências de pesquisa

Motores de Indexação e Índice

Robots.txt personalizados cliqieiamos editar

Utilize com cuidado. A utilização incorreta destas funcionalidades pode fazer com que o seu blogue seja ignorado pelos motores de pesquisa.

Mostrar / Ocultar ▼▲