Mantenere l’ottimizzazione dei motori di ricerca (SEO) del tuo sito è fondamentale per indirizzare il traffico organico. Tuttavia, ci sono alcune pagine – come contenuti duplicati o aree di gestione temporanea – che potresti voler nascondere agli utenti attraverso i motori di ricerca.
Per fortuna esiste un modo per impedire a motori come Google di accedere a pagine specifiche e mostrarle agli utenti : modificando il file robots.txt del tuo sito, puoi mantenere il controllo su quali contenuti vengono visualizzati nelle pagine dei risultati dei motori di ricerca (SERP).
In questo post parleremo di cos’è e perchè è importante il file robots.txt e spiegheremo come creare e modificare il file robots.txt in WordPress.
Che cos’è un file Robots.txt?
Un file robots.txt contiene istruzioni per i motori di ricerca su come scoprire ed estrarre informazioni da un sito web : questo processo si chiama “scansione”.
Una volta che una pagina è stata sottoposta a scansione, verrà indicizzata in modo che il motore di ricerca possa trovarla e visualizzarla rapidamente in un secondo momento.
La prima cosa che fa un crawler del motore di ricerca quando raggiunge un sito è cercare un file robots.txt.
Se non ce n’è uno, continuerà a eseguire la scansione del resto del sito normalmente, se lo trova, il crawler cercherà al suo interno eventuali direttive prima di procedere.
Le direttive più conosciute di in un file robots.txt sono 4 :
- Disallow – Impedisce ai crawler dei motori di ricerca di esaminare e indicizzare i file e le cartelle specificati. Può quindi impedire la visualizzazione di contenuti duplicati, aree di gestione temporanea o altri file privati nelle SERP.
- Allow – Permette la visita delle cartelle/file specificati ai bot.
- Crawl-delay – Indica ai crawler di attendere un determinato periodo di tempo prima di caricare un file.
- Sitemap – Indica la posizione di tutte le sitemap associate al sito web.
I file Robots.txt sono sempre formattati allo stesso modo, per chiarire le loro direttive:
Ogni direttiva inizia identificando lo ‘”user-agent“, che di solito è un crawler del motore di ricerca. Se si desidera applicare il comando a tutti i potenziali user-agent, è possibile utilizzare un asterisco (*).
Per scegliere come target uno specifico user-agent, è possibile aggiungere il suo nome. Ad esempio, potremmo sostituire l’asterisco utilizzato sopra con “Googlebot” per impedire a Google di eseguire la scansione della pagina di amministrazione.
Comprendere come utilizzare e modificare il file robots.txt è fondamentale. Le direttive che includi daranno forma al modo in cui i motori di ricerca interagiscono con il tuo sito.
Possono aiutarti a nascondere i contenuti da cui vuoi allontanare gli utenti e portare vantaggio alla SEO complessiva del tuo sito.
Come testare un file Robots.txt
Puoi verificare se hai un file robots.txt aggiungendo nel browser “/robots.txt” alla fine dell’URL del tuo sito.
https://www.ilmiositoweb.it/robots.txt
Per testare il tuo file robots.txt puoi semplicemente copiare e incollare il contenuto in un tester robots.txt. Lo strumento evidenzierà eventuali errori all’interno del file.
Tieni presente che le modifiche apportate in un editor del tester robots.txt non si applicheranno al file effettivo: dovrai comunque modificare il file sul tuo server.
Alcuni errori comuni includono la proibizione di file CSS o JavaScript, l’uso errato di simboli “jolly” come * e $ e la disattivazione accidentale di pagine importanti.
È altresì importante ricordare che i crawler dei motori di ricerca fanno distinzione tra maiuscole e minuscole, quindi tutti gli URL nel tuo file robots.txt dovrebbero apparire esattamente come li vedi nel tuo browser.
Come creare un file Robots.txt in WordPress
Se al tuo sito manca un file robots.txt, puoi facilmente aggiungerne uno in WordPress utilizzando il plugin Yoast SEO evitando così di creare un file di testo semplice e caricarlo manualmente sul server tramite File Transfer Protocol (FTP).
Step 1: Yoast SEO Tools
Per iniziare, devi aver installato e attivato il plugin Yoast SEO. Accedi alla dashboard di amministrazione di WordPress e selezionare SEO> Strumenti dalla barra laterale:
Questo ti porterà a un elenco di strumenti utili a cui gli utenti Yoast possono accedere per migliorare in modo efficiente il loro SEO.
Step 2: utilizza l’Editor di file per creare Robots.txt WordPress
Uno degli strumenti disponibili nell’elenco è l’editor di file che ti consente di modificare i file relativi al SEO del tuo sito web, incluso il file robots.txt.
FAI ATTENZIONE ! Se non vedi l’opzione per l’editor di file, è perché hai rafforzato la sicurezza di WordPress. È possibile abilitare l’opzione di modifica dei file rimuovendo la seguente riga dal file wp-config.php :
define ("DISALLOW_FILE_EDIT", true);
Dato che il tuo sito non ne ha ancora uno, ti consigliamo ovviamente di selezionare Crea file robots.txt:
Accederai all’editor di file, dove potrai creare e salvare il tuo nuovo file.
Step 3: modifica e salvataggio del file Robots.txt di default
Per impostazione di default, il nuovo robots file creato con Yoast include direttive per nascondere la cartella wp-admin e consentire l’accesso al file admin-ajax.php per tutti gli user-agent.
Consigliamo di lasciare queste direttive :
Prima di salvare file, puoi aggiungere qualsiasi altra direttiva che desideri incorporare. In questo esempio, non abbiamo consentito ai crawler di Bing di accedere a tutti i nostri file, aggiunto un ritardo di scansione di dieci millisecondi al crawler di Yahoo (Slurp) e indirizzato i crawler alla posizione della nostra Sitemap.
Quando hai finito di apportare le tue modifiche, non dimenticare di salvarle!
Come modificare un file Robots.txt in WordPress
Se hai testato il tuo file robots.txt manualmente o utilizzando Google Search Console e hai trovato degli errori puoi facilmente correggerli senza lasciare WordPress.
Step 1: accedi al tuo file Robots txt WordPress con Yoast SEO
Innanzitutto, dovrai accedere all’editor di file di Yoast. Puoi farlo come descritto in precedenza, quando hai creato il nuovo file robots.txt.
Con il plugin Yoast SEO installato e attivato, vai a SEO> Strumenti nella dashboard di WordPress, quindi seleziona l’editor di file.
Nella pagina risultante, vedrai le opzioni per ciascuno dei file del tuo sito che sono modificabili in Yoast, incluso il file robots.txt.
Assicurati di modificare il file corretto prima di iniziare.
Step 2: apporta modifiche per correggere eventuali errori
Se hai trovato errori nel tuo file robots.txt WordPress puoi correggerli e salvare le modifiche nell’editor di file. Yoast salverà gli aggiornamenti sul tuo server senza alcuno sforzo aggiuntivo da parte tua.
Come abbiamo detto in precedenza, gli strumenti di test dei file Robots.txt mettono in evidenza i gli errori, ma non apportano modifiche al file sul tuo server.
Dovrai correggere gli eventuali errori evidenziati dal test nell’editor di file Yoast. Quando avrai finito fai clic su Salva modifiche al robots.txt.
