{"id":183,"date":"2015-04-20T08:40:08","date_gmt":"2015-04-20T11:40:08","guid":{"rendered":"https:\/\/www.kinghost.com.br\/wiki\/?post_type=article&p=183"},"modified":"2021-06-17T14:21:39","modified_gmt":"2021-06-17T17:21:39","slug":"entendendo-o-arquivo-robots-txt","status":"publish","type":"article","link":"https:\/\/king.host\/wiki\/artigo\/entendendo-o-arquivo-robots-txt\/","title":{"rendered":"Entendendo o arquivo robots.txt"},"content":{"rendered":"\n

O Robots.txt<\/strong> \u00e9 um arquivo no formato texto, portanto pode ser facilmente editado por um aplicativo de bloco de notas (notepad do Windows, por exemplo).<\/p>\n\n\n\n

Ele funciona como um filtro para os rob\u00f4s (robots) dos sites de busca e faz com que os programadores controlem permiss\u00f5es de acesso a determinadas p\u00e1ginas ou pastas dos sites. Em resumo, ele controla qual informa\u00e7\u00e3o do site ser\u00e1 ou n\u00e3o indexada (encontrada) nos mecanismos de busca, como o Google.<\/p>\n\n\n\n

<\/span>Como posso criar e onde devo colocar esse arquivo?<\/span><\/h2>\n\n\n\n

A cria\u00e7\u00e3o do arquivo \u00e9 bem simples, basta abrir um editor de texto, inserir as regras e salvar como robots.txt<\/strong>.
Ele deve ficar dentro do diret\u00f3rio ra\u00edz do FTP de seu site, dentro da pasta www<\/strong>.<\/p>\n\n\n\n

\"Arquivo<\/a><\/figure>\n\n\n\n

<\/span>Como posso editar o robots.txt?<\/span><\/h2>\n\n\n\n

A sintaxe do arquivo \u00e9 bem simples. A configura\u00e7\u00e3o \u00e9 feita atrav\u00e9s de palavras espec\u00edficas que representam comandos aos robots.
Veja abaixo que tipos de comandos voc\u00ea pode passar atrav\u00e9s deste arquivo.<\/p>\n\n\n\n

<\/span>Definindo quais robots podem indexar conte\u00fado do seu site<\/span><\/h2>\n\n\n\n

O primeiro tipo de configura\u00e7\u00e3o \u00e9 definir quais mecanismos de busca ir\u00e3o indexar o conte\u00fado do seu site.<\/p>\n\n\n\n

<\/i> Caso voc\u00ea queira que todos os mecanismos indexem seu site, n\u00e3o coloque esta regra ou ent\u00e3o utilize a seguinte:<\/p>\n\n\n\n

User-agent: *\n<\/pre>\n\n\n\n
<\/i> Caso queira configurar um \u00fanico robot voc\u00ea ter\u00e1 mais op\u00e7\u00f5es como, por exemplo, permitir apenas o Google, o Yahoo ou o Bing.
<\/i> O conte\u00fado abaixo depois de um caractere #<\/b> representa apenas um coment\u00e1rio e n\u00e3o faz parte da regra em si.<\/span><\/p>\n\n\n\n
User-agent: Bingbot                # Bing\nUser-agent: Slurp                  # Yahoo\nUser-agent: Googlebot              # Google\nUser-agent: Googlebot-images       # Google Imagens\nUser-agent: Adsbot-Google          # Google Adwords\nUser-agent: Mediapartners-Google   # Google Partners\n<\/pre>\n\n\n\n
<\/span>Permitindo ou n\u00e3o a indexa\u00e7\u00e3o de determinados conte\u00fados do seu site<\/span><\/h2>\n\n\n\n
H\u00e1 dois comandos para este tipo de configura\u00e7\u00e3o.
O comando Disallow<\/strong> determinada quais p\u00e1ginas e pastas n\u00e3o<\/b> ser\u00e3o indexados aos mecanismos de busca.
J\u00e1 o comando Allow<\/strong> faz justamente o contr\u00e1rio. Ele deve ser usado somente em casos onde, por exemplo, voc\u00ea bloqueou uma pasta mas dentro dela h\u00e1 um arquivo que pode ser indexado. De modo simples, permitir a indexa\u00e7\u00e3o de algo dentro de uma pasta n\u00e3o permitida.<\/p>\n\n\n\n
Importante<\/b>: Por padr\u00e3o, todas as pastas e arquivos do seu site ser\u00e3o indexados. Caso n\u00e3o queira que algo seja visualizado pelos mecanismos de busca, \u00e9 indispens\u00e1vel realizar esta configura\u00e7\u00e3o.<\/div>\n\n\n\n
<\/i> Abaixo segue alguns exemplos da aplica\u00e7\u00e3o dos comandos:<\/p>\n\n\n\n
Disallow: \/blog\/        # Desativa a indexa\u00e7\u00e3o do conte\u00fado da pasta 'blog'\nDisallow: \/siste        # Desativa a indexa\u00e7\u00e3o de conte\u00fado, seja pasta ou arquivo, que comece com 'siste'\nDisallow: secreto.php   # Desativa a indexa\u00e7\u00e3o de conte\u00fado da p\u00e1gina secreto.php\nAllow: \/blog\/home.php   # A pasta blog, no exemplo acima, n\u00e3o ser\u00e1 indexada, mas o conte\u00fado da p\u00e1gina home.php, dentro dela, ser\u00e1 indexado\n<\/pre>\n\n\n\n
<\/span>Exemplos de arquivo robots.txt<\/span><\/h2>\n\n\n\n
Verificar o arquivo robots.txt de um site \u00e9 um tarefa bem simples, portanto tome cuidado com as configura\u00e7\u00f5es realizadas. Como exemplos, seguem os robots do Google<\/a> e Facebook<\/a>.<\/p>\n","protected":false},"author":9,"featured_media":0,"menu_order":30,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","article-category":[33],"article-tag":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article\/183"}],"collection":[{"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article"}],"about":[{"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/types\/article"}],"author":[{"embeddable":true,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/comments?post=183"}],"version-history":[{"count":1,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article\/183\/revisions"}],"predecessor-version":[{"id":6933,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article\/183\/revisions\/6933"}],"wp:attachment":[{"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/media?parent=183"}],"wp:term":[{"taxonomy":"article-category","embeddable":true,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article-category?post=183"},{"taxonomy":"article-tag","embeddable":true,"href":"https:\/\/king.host\/wiki\/wp-json\/wp\/v2\/article-tag?post=183"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}