Crawler-automatiseringen

Overzicht

Met crawler-automatiseringen kunt u reeksen stappen definieren die de cside crawler uitvoert op uw pagina’s tijdens een crawl. Dit is handig om content te bereiken die interactie vereist — zoals inloggen, navigeren door meerstappenflows, cookiebanners sluiten of client-side rendering activeren.

Elke automatisering is een reeks acties die de crawler in volgorde uitvoert. Na afloop van een crawl kunt u de resultaten van elke automatisering bekijken, zien welke stappen geslaagd of mislukt zijn, en schermafbeeldingen bekijken die bij elke stap zijn vastgelegd.

Wanneer automatiseringen gebruiken

Automatiseringen zijn nuttig wanneer de crawler het volgende moet doen:

• Inloggen om toegang te krijgen tot geverifieerde pagina’s
• Navigeren door single-page applicaties of meerstappenflows
• Klikken op elementen zoals cookietoestemmingsbanners, tabbedieningen of “meer laden”-knoppen
• Formulieren invullen met testgegevens om specifieke toestanden te bereiken
• JavaScript uitvoeren om client-side gedrag te activeren voordat de pagina wordt geanalyseerd

Automatiseringsresultaten bekijken

1. Open het dashboard en navigeer naar uw Domain Settings
2. Open het Automations-paneel
3. U ziet de lijst met automatiseringen die tijdens de meest recente crawlsessie zijn uitgevoerd
4. Klik op een automatisering om deze uit te vouwen en de stapsgewijze uitsplitsing te bekijken

Elke automatisering toont een beschrijving van wat het doet en een status die aangeeft of het succesvol is voltooid.

De stappenuitsplitsing begrijpen

Wanneer u een automatisering uitvouwt, ziet u elke stap in uitvoeringsvolgorde. Elke stap bevat de volgende details:

• Actie — het type interactie dat is uitgevoerd:
  • Navigate — een URL laden
  • Click — op een CSS-geselecteerd element klikken
  • Fill — een waarde invoeren in een formulierveld
  • Wait — wachten op een voorwaarde of duur
  • Evaluate JS — een JavaScript-expressie uitvoeren op de pagina
  • Stop — de automatisering beeindigen
• Selector — de CSS selector waarop de stap gericht is (indien van toepassing)
• URL — de doel-URL (indien van toepassing)
• Value — de opgegeven invoerwaarde (indien van toepassing)
• Screenshot — een schermafbeelding die bij die stap is vastgelegd, waarop u kunt klikken om deze in een modal op volledige grootte te openen

Stapstatussen

Elke stap is gemarkeerd met een statusindicator:

• Success (groen vinkje) — de stap is zonder fouten voltooid
• Failed (rode X) — de stap heeft een fout ondervonden en de automatisering gestopt
• Not yet run (grijs weergegeven) — de stap is niet bereikt omdat een eerdere stap is mislukt

Wanneer een automatisering mislukt, toont de status “Error on step N” samen met het foutbericht, waardoor het eenvoudig is om te identificeren welke stap het probleem heeft veroorzaakt en waarom.

Fouten interpreteren

Veelvoorkomende redenen waarom een stap kan mislukken:

• Selector not found — de CSS selector komt niet overeen met een element op de pagina. Controleer of de selector correct is en of de pagina volledig geladen is voordat de stap wordt uitgevoerd.
• Navigation timeout — de doel-URL is niet binnen de toegestane tijd geladen. Controleer of de URL bereikbaar is en of eventuele vereiste cookies of opslagwaarden zijn geconfigureerd.
• JavaScript error — een Evaluate JS-stap heeft een uitzondering gegenereerd. Controleer de expressie op syntaxfouten of verwijzingen naar elementen die mogelijk nog niet bestaan.
• Element not interactable — een Click- of Fill-stap was gericht op een element dat verborgen, uitgeschakeld of bedekt is door een ander element.

Volgende stappen

• Scan Mode instellen — als u de crawler nog niet hebt geconfigureerd, raadpleeg dan de handleiding voor het instellen van Scan Mode
• Instellingen op paginaniveau configureren — voeg cookies, localStorage- of sessionStorage-waarden toe zodat de crawler toegang kan krijgen tot geverifieerde content
• Crawlsessies bekijken — gebruik het automatiseringenpaneel samen met de sessiegeschiedenis om lopende crawlresultaten te monitoren