O robots.txt é um arquivo de texto que os mecanismos de buscas utilizam para definir regras de escaneamento do site para os crawlers.

A VTEX possui nativamente interface para edição e customização de seu arquivo robots.txt.

Para acessar:

1. Clique no menu Configurações da loja;
2. Na seção Storefront, clique Configurações;
3. Em seguida, clique na aba SEO;
4. Faça as alterações desejadas na caixa de texto Robots.txt.

Para compreender melhor o conteúdo, detalho a seguir as funções básicas a seguir:

• Allow: ao utilizar esse termo você estará permitindo que o crawler das ferramentas de busca navegue e indexe o endereço indicado.
• Disallow: você estará bloqueando o conteúdo indicado.

Para validar o conteúdo será necessário:

• Consultar se as URLs listadas realmente precisam de alguma regra no robots;
• Consultar se as regras estão corretamente aplicada para as URLs desejadas;
• Verificar se o arquivo sitemap.xml está corretamente listado.

A edição do robots.txt de sua loja está disponível em: [accountname].vtexcommercestable.com.br/admin/Site/ConfigSEOContents.aspx.

Para a correta configuração do Search Console, o próximo passo é verficar o Sitemap da loja, apresentar a estrutura de sua loja para facilitar a navegação do crawler e agilizar a indexação de todas as páginas.