SEO : perché analizzare i file log del server ?

La SEO “tecnica” è la chiave di volta che consente ai motori di ricerca di esplorare, analizzare e indicizzare le pagine del tuo sito. Questo aiuta a posizionare le tue pagine nelle SERP , anche prima di iniziare il lavoro SEO. In altre parole, non ha senso fare SEO “on-page” se la tua SEO tecnica è scadente.

La console di ricerca , i crawler di terze parti e gli strumenti statistici non forniscono un quadro completo di come Googlebot e altri motori di ricerca interagiscono con un sito web. C’è solo un modo per esaminare la maniera esatta in cui i motori di ricerca trattano il tuo sito web ed è analizzando i file di log (o file di registro) del tuo server.

Aiutando Google a fare il suo lavoro, preparerai il terreno per il tuo futuro lavoro SEO. L’analisi dei log è un aspetto importante della SEO tecnica e la correzione dei problemi riscontrati nei registri ti consentirà di ottenere posizionamenti migliori, più traffico e più conversioni.

Esempio delle voci in un file di log

Ogni server registra diversamente gli eventi nei log, ma generalmente tutti forniscono informazioni simili, organizzate in campi.

Ecco un esempio di accesso a un server web Apache (semplificato, alcuni campi sono stati eliminati):

Come puoi vedere, per ogni richiesta, il file di registro memorizza le informazioni chiave come:

• data e ora
• il codice di risposta URI (in questo caso, un 404)
• lo user agent che effettua la richiesta (in questo caso, Googlebot)

Come puoi immaginare, i file di log rappresentano migliaia di righe al giorno, poiché ogni volta che un utente o un robot arriva sul tuo sito, vengono registrate le voci per ogni pagina richiesta (incluse immagini, CSS e qualsiasi altro file necessario per eseguire il rendering della pagina).

Cosa cercare nei file di registro?

L’analisi dei file di log rivela un gran numero di informazioni utili e consente ad esempio di:

• Scoprire le aree sprecate dal crawl budget.
• Visualizzare le risposte incontrate dai motori di ricerca durante la loro esplorazione, ad esempio i 302, 404 e soft 404.
• Identificare le lacune nell’esplorazione, che possono avere implicazioni più ampie a livello di sito (come la gerarchia o la struttura dei collegamenti interni).
• Scoprire quali pagine hanno la priorità dei motori di ricerca e quali possono essere considerate le più importanti.

Scopri dove viene sprecato il crawl budget

Non sai cosa sia il crawl budget? Ne abbiamo parlato in questo articolo .

L’analisi dei file di registro può rivelare che il budget per l’esplorazione del tuo sito è sprecato in pagine non pertinenti. Se hai nuovi contenuti che desideri indicizzare ma non hai più un budget, Google non indicizzerà questi nuovi contenuti. L’ottimizzazione del crawl budget aiuterà i motori di ricerca a eseguire la scansione e l’indicizzazione delle pagine più importanti del tuo sito web.

Avere tante pagine a basso valore aggiunto può avere un effetto negativo sulla scansione e l’indicizzazione di un sito. Gli URL a basso valore aggiunto possono rientrare in queste categorie:

• Contenuti duplicati
• Soft 404
• Pagine compromesse
• Contenuti spam di scarsa qualità

Non sprecare il crawl budget in pagine come queste. L’esplorazione di pagine veramente preziose verrà fatta da Google più rapidamente e più spesso.

Rispondere a domande tecniche sulla SEO

Analizzando i file di registro, possiamo rispondere alle seguenti domande con molta più certezza che se provassimo a utilizzare altri strumenti:

• Con quale frequenza vengono esplorate alcune sottodirectory?
• Tutti i robot dei motori di ricerca accedono alle tue pagine?
• Quali pagine non vengono servite correttamente? 

Scopri se il tuo sito è diventato Google Mobile-First

Puoi utilizzare i log del server di un sito per scoprire se il tuo sito web sta ricevendo la scansione dal bot per smartphone Googlebot indicando che è passato al mobile-first indexing.

Come faccio a sapere se il mio sito è passato a mobile-first index? Come regola generale, l’80% del sito che è ancora nell’indice “normale” è visitato dal motore di ricerca “desktop” e il 20% dal motore di ricerca mobile. Se sei passato al mobile first index , questi numeri saranno invertiti.

Puoi trovare queste informazioni consultando quale User Agent ti visita più spesso:

Dovresti vedere la maggior parte delle voci da

Ricerca ultima indicizzazione

Hai recentemente pubblicato qualcosa e vorresti sapere se Google è arrivato a indicizzare questa pagina? Puoi trovare la risposta nei tuoi log. Inoltre, la frequenza con cui Google visita il tuo sito è un buon indicatore  : non gli piace passare il tempo su siti “scadenti”.