Pedro, não precisa criar um ficheiro.
Basta criar o arquivo robots.txt, esse arquivo é um arquivo simples de texto, ele precisa ter exatamente esse nome para facilitar a consulta dos “bots”, e dentro dele serão colocadas as diretrizes que os “robots” (robôs, bots, crawlers, spiders etc), softwares automatizados em geral; seguirão ao entrar em seu site.
Como é um arquivo simples de texto, não há muito perigo, além disso a permissão padrão do seu site será suficiente para executa-lo.
Quase todo site tem, e fica na pasta raiz do domínio, veja por exemplo o robots.txt do wordpress.org:
https://wordpress.org/robots.txt
As designações do seu robots.txt tem haver com o que você deseja bloquear ou não, então dê uma olhada nesse arquivo para que você possa criar o seu:
https://support.google.com/webmasters/answer/6062596?hl=pt-BR
e aqui uma ferramenta que facilitará a criação:
http://www.marketingdebusca.com.br/robots-txt/
Olá Vini!
Obrigado pela disponibilidade!
Na verdade eu já corri bastantes sites de ajuda mas como não sou muito entendido neste assunto, fico sempre com algum receio de não fazer bem.
Consegue me dizer se fazendo desta forma dou permissão (sem usar o comando “Allow”) a todos os webcrawlers a todo o conteúdo do meu site, excepto da zona de admnistração do mesmo:
User-agent: *
Disallow:
Disallow: /wp-admin
Ou tenho de especificar todos os webcrawlers?
Obrigado mais uma vez!
Pedro P
Olá @pedro P ao utilizar o asterisco você se refere a todos os “webcrawlers”. Para seu robots.txt ficar perfeito você só precisa tirar esse Disallow que não faz referência a nada. Ficando seu robots.txt correto assim:
User-agent: *
Disallow: /wp-admin
Se precisar bloquear alguma outra pasta além da wp-admin, é só adicionar na sequência, sempre o Disallow precisa fazer uma referência ao conteúdo que deseja bloquear para evitar bloquear o domínio por completo. Se além dessa quiser bloquear as páginas de arquivos por exemplo:
User-agent: *
Disallow: /wp-admin/
Disallow: /archive/
E por aí em diante, entendeu?
Isso também serve para bloquear posts específicos, por exemplo:
User-agent: *
Disallow: /wp-admin/
Disallow: /archive/
Disallow: /nome-do-post.html
Disallow: /?p=123
É só fazer a referência ao que deseja bloquear, pode ser uma pasta, um post,arquivos web (.php, .html, .css, .js etc) até uma imagem ou vídeo.
User-agent: *
Disallow: /wp-admin/
Disallow: /archive/
Disallow: /nome-do-post.html
Disallow: /?p=123
Disallow: /imagem-exemplo.jpg
Disallow: /video-exemplo.mp4
é por aí…
Abraço.
Olá Vini!
Muito Obrigado!!
Eu tinha colocado o seguinte:
User-agent: *
Allow: *
Mas continua a aparecer isto:
“A description for this result is not available because of this site’s robots.txt – learn more.”
Penso que poderá ser um erro de script. Eu não tenho acesso á raíz do site mas vou alterar e consultar quem tem acesso.
Muito obrigado mais uma vez!
Abrc!
Pedro P
