Vrijwel niemand kijkt in de logbestanden van zijn server, terwijl daar staat wat je statistiekenpakket nooit laat zien: elke aanvraag, ook die van zoekmachines, scrapers en mislukte pogingen.
Wat je eruit haalt
- Foutmeldingen: welke adressen geven een fout en hoe vaak.
- Bots: hoeveel van je serverbelasting gaat naar partijen die niets opleveren.
- Crawlgedrag: welke pagina’s zoekmachines wel en niet ophalen.
- Aanvallen: herhaalde pogingen op je beheerpagina of bekende lekken.
Crawlbudget is eindig
Als de helft van de aanvragen naar filtercombinaties gaat die niemand nodig heeft, blijft er minder over voor je productpagina’s. In de logs zie je dat direct, en het is vaak met een paar regels op te lossen.
Bots die niets opleveren
Een deel van het verkeer komt van partijen die je content verzamelen. Die kun je blokkeren zonder zoekmachines te raken. Doe dat wel zorgvuldig: het blokkeren van de verkeerde partij kost je indexering.
Hoe vaak je kijkt
Een keer per kwartaal is genoeg, plus direct na een grote wijziging of als je zonder verklaring bezoek verliest. Laat het desnoods voor je doen, met een kort verslag in gewone taal.