O robots.txt funciona como um filtro para os rob\u00f4s (robots) dos sites de busca, permitindo\u00a0aos programadores controlarem permiss\u00f5es de acesso a determinadas p\u00e1ginas ou pastas dos sites. Simplificando, ele controla qual informa\u00e7\u00e3o do site ser\u00e1 ou n\u00e3o indexada, ou seja, encontrada pelos\u00a0mecanismos de busca, como o Google.\u00a0O\u00a0arquivo \u00e9 no formato texto, portanto pode ser facilmente editado por um aplicativo de bloco de notas (notepad do Windows, por exemplo).<\/p>\n
A cria\u00e7\u00e3o do arquivo \u00e9 bem simples, basta abrir um editor de texto, inserir as regras e salvar como robots.txt.
\nEle deve ficar dentro do diret\u00f3rio ra\u00edz do FTP de seu site, dentro\u00a0da pasta www.<\/p>\n
A sintaxe do arquivo \u00e9 bem simples. A configura\u00e7\u00e3o \u00e9 feita atrav\u00e9s de palavras espec\u00edficas que representam comandos aos robots.<\/p>\n
Veja abaixo que tipos de comandos voc\u00ea pode expressar atrav\u00e9s deste arquivo.<\/p>\n
O primeiro tipo de configura\u00e7\u00e3o a fazer \u00e9 definir quais mecanismos de busca ir\u00e3o indexar o conte\u00fado do seu site.
\nCaso voc\u00ea queira que todos os mecanismos indexem seu site, n\u00e3o coloque esta regra ou ent\u00e3o utilize a seguinte:
\nuser-agent: *<\/p>\n
Caso queira configurar um \u00fanico robot voc\u00ea ter\u00e1 como\u00a0op\u00e7\u00f5es, por exemplo, permitir apenas o Google, o Yahoo ou o Bing.<\/p>\n
O conte\u00fado abaixo\u00a0que segue ap\u00f3s\u00a0o\u00a0caractere # representa apenas um coment\u00e1rio e n\u00e3o faz parte da regra em si.<\/em><\/p>\n User-agent: Bingbot # Bing H\u00e1 dois comandos para este tipo de configura\u00e7\u00e3o.\u00a0O comando Disallow<\/strong> determinada quais p\u00e1ginas e pastas n\u00e3o ser\u00e3o indexados nos mecanismos de busca. \u00a0<\/span>J\u00e1 o comando Allow<\/strong> faz justamente o contr\u00e1rio. Ele deve ser usado somente em casos onde, por exemplo, voc\u00ea bloqueou uma pasta mas dentro dela h\u00e1 um arquivo que pode ser indexado. De modo simples, permitir a indexa\u00e7\u00e3o de algo dentro de uma pasta n\u00e3o permitida.<\/span><\/p>\n Importante:<\/strong> Por padr\u00e3o, todas as pastas e arquivos do seu site ser\u00e3o indexados. Caso n\u00e3o queira que algo seja visualizado pelos mecanismos de busca, \u00e9 indispens\u00e1vel realizar esta configura\u00e7\u00e3o.<\/p>\n Abaixo segue alguns exemplos da aplica\u00e7\u00e3o dos comandos:<\/p>\n Disallow: \/blog\/ # Desativa a indexa\u00e7\u00e3o do conte\u00fado da pasta ‘blog’ Exemplos de arquivo Robots.txt\u00a0<\/strong><\/p>\n Verificar o arquivo robots.txt de um site \u00e9 um tarefa bem simples, portanto tome cuidado com as configura\u00e7\u00f5es realizadas. O\u00a0que \u00e9 o\u00a0robots.txt? O robots.txt funciona como um filtro para os rob\u00f4s (robots) dos sites de busca, permitindo\u00a0aos programadores controlarem permiss\u00f5es de acesso a determinadas p\u00e1ginas ou pastas dos sites. Simplificando, ele controla qual informa\u00e7\u00e3o do site ser\u00e1 ou n\u00e3o indexada, ou seja, encontrada pelos\u00a0mecanismos de busca, como o Google.\u00a0O\u00a0arquivo \u00e9 no formato texto, portanto […]<\/p>\n","protected":false},"author":253,"featured_media":8990,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[156],"tags":[],"class_list":["post-8986","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tutoriais"],"_links":{"self":[{"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/posts\/8986","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/users\/253"}],"replies":[{"embeddable":true,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/comments?post=8986"}],"version-history":[{"count":1,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/posts\/8986\/revisions"}],"predecessor-version":[{"id":38365,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/posts\/8986\/revisions\/38365"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/media\/8990"}],"wp:attachment":[{"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/media?parent=8986"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/categories?post=8986"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/king.host\/blog\/wp-json\/wp\/v2\/tags?post=8986"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\nUser-agent: Slurp # Yahoo
\nUser-agent: Googlebot # Google
\nUser-agent: Googlebot-images # Google Imagens
\nUser-agent: Adsbot-Google # Google Adwords
\nUser-agent: Mediapartners-Google # Google Partners<\/p>\nDefinindo a indexa\u00e7\u00e3o de conte\u00fados espec\u00edficos<\/h3>\n
\nDisallow: \/siste # Desativa a indexa\u00e7\u00e3o de conte\u00fado, seja pasta ou arquivo, que comece com ‘siste’
\nDisallow: secreto.php # Desativa a indexa\u00e7\u00e3o de conte\u00fado da p\u00e1gina secreto.php
\nAllow: \/blog\/home.php # A pasta blog, no exemplo acima, n\u00e3o ser\u00e1 indexada, mas o conte\u00fado da p\u00e1gina home.php, dentro dela, ser\u00e1 indexado<\/p>\n
\nComo exemplos, seguem os robots do Google<\/a> e Facebook<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"