Automatizacoes do Crawler

Visao geral

As automatizacoes do crawler permitem definir sequencias de etapas que o crawler do cside executa em suas paginas durante um rastreamento. Isso e util para alcancar conteudo que requer interacao - como fazer login, navegar por fluxos de varias etapas, fechar banners de cookies ou acionar renderizacao do lado do cliente.

Cada automatizacao e uma serie de acoes que o crawler executa em ordem. Apos a conclusao de um rastreamento, voce pode revisar os resultados de cada automatizacao, ver quais etapas foram bem-sucedidas ou falharam, e visualizar capturas de tela tiradas em cada etapa.

Quando usar automatizacoes

As automatizacoes sao uteis quando o crawler precisa:

• Fazer login para acessar paginas autenticadas
• Navegar por aplicacoes de pagina unica ou fluxos de varias etapas
• Clicar em elementos como banners de consentimento de cookies, controles de abas ou botoes de “carregar mais”
• Preencher formularios com dados de teste para alcancar estados especificos
• Executar JavaScript para acionar comportamento do lado do cliente antes que a pagina seja analisada

Visualizar resultados de automatizacao

Os resultados de automatizacao sao guardados por sessao de rastreamento, entao voce os consulta a partir do historico de execucoes:

1. Abra o painel de controle, selecione o dominio e abra Domain Settings
2. Abra a aba Crawler e role ate a tabela Execution History
3. Na linha da sessao que deseja inspecionar, clique no botao Automations (ao lado de Logs e Pages)
4. As automatizacoes executadas nessa sessao aparecem abaixo da linha. Clique em uma para expandi-la e ver o detalhamento passo a passo

Cada automatizacao exibe uma descricao do que faz e um status indicando se foi concluida com sucesso.

Compreender o detalhamento das etapas

Quando voce expande uma automatizacao, ve cada etapa listada em ordem de execucao em uma tabela com quatro colunas:

• Step: o numero e o status da etapa, o valor de entrada fornecido (quando aplicavel) e um botao que abre a captura de tela dessa etapa em um modal em tamanho completo
• Action: o tipo de interacao realizada:
  • Navigate: carregar uma URL
  • Click: clicar em um elemento selecionado por CSS
  • Fill: inserir um valor em um campo de formulario
  • Wait: aguardar uma condicao ou duracao
  • Evaluate JS: executar uma expressao JavaScript na pagina
  • Stop: encerrar a automatizacao
• Selector: o CSS selector alvo da etapa (quando aplicavel)
• Target URL: a URL para a qual a etapa navega (quando aplicavel)

Status das etapas

Cada etapa e marcada com um indicador de status:

• Success (marca verde): a etapa foi concluida sem erros
• Failed (X vermelho): a etapa encontrou um erro e interrompeu a automatizacao
• Not yet run (esmaecido): a etapa nao foi alcancada porque uma etapa anterior falhou

Quando uma automatizacao falha, o status mostra “Error on step N” junto com a mensagem de erro, o que ajuda a identificar qual etapa causou o problema e por que.

Interpretar erros

Razoes comuns pelas quais uma etapa pode falhar:

• Selector not found: o CSS selector nao corresponde a nenhum elemento na pagina. Verifique se o seletor esta correto e se a pagina terminou de carregar antes da execucao da etapa.
• Navigation timeout: a URL de destino nao carregou dentro do tempo permitido. Verifique se a URL esta acessivel e se os cookies ou valores de armazenamento necessarios estao configurados.
• JavaScript error: uma etapa Evaluate JS lancou uma excecao. Revise a expressao em busca de erros de sintaxe ou referencias a elementos que podem ainda nao existir.
• Element not interactable: uma etapa Click ou Fill teve como alvo um elemento que esta oculto, desabilitado ou coberto por outro elemento.

Proximos passos

• Configurar o Scan Method: se voce ainda nao configurou o crawler, consulte o guia de configuracao do Scan Method
• Definir configuracoes em nivel de pagina: adicione cookies, valores de localStorage ou sessionStorage para que o crawler possa acessar conteudo autenticado
• Revisar sessoes do crawler: use as visualizacoes Logs e Pages da mesma linha de execucao para ver o que mais aconteceu durante o rastreamento