{"id":283,"date":"2024-08-18T20:54:21","date_gmt":"2024-08-18T20:54:21","guid":{"rendered":"https:\/\/blog.devlancer.it\/?p=283"},"modified":"2024-08-23T10:11:53","modified_gmt":"2024-08-23T10:11:53","slug":"seo-come-indicizzare-deindicizzare-contenuti","status":"publish","type":"post","link":"https:\/\/blog.devlancer.it\/en\/seo-come-indicizzare-deindicizzare-contenuti\/","title":{"rendered":"Come indicizzare e deindicizzare i contenuti tramite robots, noindex e 404"},"content":{"rendered":"

Esistono diversi metodi che possiamo seguire per indicizzare o deindicizzare i contenuti del nostro sito web.<\/p>\n\n

Robots.txt e meta robots<\/h2>\n

Google ci spiega facilmente cos\u2019\u00e8 un file robots.txt<\/a>:<\/p>\n

Indica ai crawler dei motori di ricerca a quali URL possono accedere sul tuo sito<\/b>. Viene usato principalmente per evitare di sovraccaricare di richieste il sito; non \u00e8 un meccanismo che permette di escludere una pagina web da Google<\/b>. Per escludere una pagina web da Google, blocca l’indicizzazione con il meta tag noindex<\/b> oppure proteggi tramite password la pagina.<\/p><\/blockquote>\n

Qui vediamo gi\u00e0 alcuni elementi fondamentali: anzitutto, robots.txt \u00e8 un file stabilito come standard<\/b>, che viene letto dai crawler<\/b> dei motori di ricerca. Quando questi bot, come GoogleBot o altri, arrivano al nostro sito, verificano la presenza di un robots.txt<\/b>. Se abbiamo \u201cvietato\u201d l\u2019indicizzazione di alcuni o tutti i contenuti, il bot potrebbe andarsene senza fare nulla.<\/p>\n

Ecco un esempio di robots.txt che chiede ai crawler di non indicizzare al sito:<\/p>\n

User-agent: *\r\nDisallow: \/<\/code><\/pre>\n
Viceversa possiamo semplicemente rimuovere la seconda riga<\/b> per comunicare che vogliamo permettere l\u2019indicizzazione.<\/p>\n
Se vogliamo rivolgerci a un crawler specifico<\/b>, possiamo fare cos\u00ec:<\/p>\n
User-agent: Googlebot<\/code><\/pre>\n
Per permettere o meno l\u2019indicizzazione<\/b> di singoli URL possiamo fare cos\u00ec:<\/p>\n
Disallow: \/non-indicizzarmi\/\r\nAllow: \/indicizzami\/<\/code><\/pre>\n
Ci sono alcune regole precise da conoscere<\/b> su come formare le varie righe del robots.txt, usando alias e asterischi, ma per questo rimando alla guida dettagliata di Google Search Central: Come scrivere e inviare un file robots.txt<\/a><\/p>\n
\n
Importante<\/b>: ricordiamo che questa \u00e8 una \u201crichiesta\u201d da parte nostra, sta poi ai crawler rispettarla correttamente, non dipende da noi.<\/p>\n<\/div>\n
Tuttavia, usare robots.txt non \u00e8 il modo consigliato se vogliamo deindicizzare un contenuto gi\u00e0 indicizzato<\/b>. In questi casi, il metodo migliore<\/b> \u00e8 fare in modo che la pagina risponda con un codice 404<\/b>, o al massimo 403. I vari codici di risposta HTTP<\/a> sono spiegati meglio su MDN.<\/p>\n
Meta tag noindex<\/h2>\n
In alternativa, possiamo usare il meta tag noindex<\/a>, che serve solo per indicare ai motori di ricerca che una pagina non deve essere indicizzata (= no index).<\/p>\n
Si potrebbe aprire un dibattito<\/b> su quale sia la strada migliore per deindicizzare<\/b> un contenuto: in genere preferisco usare il 404, anche perch\u00e9 molto pi\u00f9 perentorio e non lascia spazio a dubbi, ma dipende da cosa dobbiamo fare. Se la pagina deve rimanere visibile agli utenti<\/b> ma nascosta ai motori di ricerca, meglio usare la soluzione del noindex<\/b> inserito come meta tag nell\u2019HTML di quella pagina (attenzione: la pagina non deve<\/b> venire esclusa dal robots.txt). Diversamente, se il contenuto non deve pi\u00f9 essere leggibile dall\u2019esterno, utenti inclusi, meglio usare la risposta 404.<\/p>\n
Il noindex<\/b> viene inserito in forma di meta tag<\/a>, all\u2019interno della <head> <\/b>di un documento HTML in questo modo:<\/p>\n
<meta name=\"robots\" content=\"noindex\"><\/code><\/pre>\n
Questo indica a tutti i crawler di non indicizzare la pagina<\/b>, mentre se vogliamo rivolgerci a un crawler specifico<\/b>, ad esempio il GoogleBot:<\/p>\n
<meta name=\"googlebot\" content=\"noindex\"><\/code><\/pre>\n
404: s\u00ec o no?<\/h2>\n
Nel caso in cui dovessimo decidere di nascondere una pagina ai crawler<\/b>, lasciandola visibile al resto del mondo, possiamo fare in modo che il server risponda con lo stato 404<\/b>: questo non significa per forza che la pagina non venga trovata, ma \u00e8 comunque utile per stabilire che la pagina non ha motivo di essere indicizzata. Pensiamo ad esempio al caso di un filtro prodotti che restituisce contenuti quasi identici, in questi casi potrebbe avere senso optare per un 404 per ogni singolo URL filtrato, o almeno per i filtri pi\u00f9 avanzati.<\/p>\n
Ha senso restituire 404 anche quando una funzionalit\u00e0 di ricerca nel sito presenta zero risultati<\/b> (\u201cNessun risultato trovato per la tua ricerca\u201d), anche se in questi casi potrebbe essere pi\u00f9 ottimale il \u201cnoindex\u201d<\/b>.<\/p>\n
Su questo tema, \u00e8 utile la risposta su Reddit<\/a> di John Mueller<\/b> (gi\u00e0 citato in come Search relations team lead<\/b> in Google quando abbiamo parlato di et\u00e0 del dominio nella SEO<\/a>):<\/p>\n
Thousands of 404 Errors in GSC from Spam Sites – Should I Care?
\nJust ignore them. If the page isn’t meant to exist, then having it return 404 is expected. If you thought the page was supposed to exist, then this error is a good reminder.<\/i><\/p><\/blockquote>\n
Crediti: Search Engine Journal<\/a><\/p>\n
Dunque in buona sostanza si conferma che la strategia del 404 \u00e8 corretta se la pagina effettivamente non deve esistere. Per gli altri casi, valutiamo l\u2019uso del tag noindex.<\/p>\n
Indicizzazione e deindicizzazione dirette<\/h2>\n
Vi sono anche altri metodi<\/strong> per deindicizzare una pagina, ma questi che abbiamo visto sono i principali e pi\u00f9 conosciuti. Ad esempio, potremmo fare una richiesta di deindicizzazione attiva tramite lo strumento Rimozione URL<\/strong> di Google Search Console<\/a>\u00a0o Bing Webmaster Tools<\/a>:<\/strong><\/p>\n
\"\"
Strumento rimozione URL su Google e Bing<\/figcaption><\/figure>\n
Per quanto riguarda l’indicizzazione<\/strong>, oltre alle azioni passive che abbiamo visto relative a Robots.txt, tramite le quali possiamo comunicare ai motori di ricerca se il nostro sito \u00e8 indicizzabile o meno, e fermo restando che in molti casi l’indicizzazione avviene in modo naturale ed automatico<\/strong>, possiamo velocizzarla inviando direttamente ai crawler una richiesta di indicizzazione<\/strong> su Google Search Console<\/a> o su Bing Webmaster Tools<\/a>, che spesso porta a un risultato positivo anche in poche ore.<\/p>\n
Consiglio anche di valutare l’uso di Yandex Webmaster Tools<\/a> per il pubblico russo<\/strong>, di Seznam.cz Webmaster<\/a> per il pubblico ceco<\/strong>, e di IndexNow<\/a> come protocollo opensource<\/strong> creato da Bing e Yandex e usato da vari strumenti come Rank Math<\/a> e YoastSEO<\/a>.<\/p>\n
Conclusioni<\/h2>\n
Alcune impostazioni utili relative alle scelte di indicizzazione si possono scegliere anche dal CMS, ad esempio con plugin come Rank Math per WordPress<\/a>. Lo stesso WordPress di default ha una impostazione che “Scoraggia l’indicizzazione dei motori di ricerca”<\/strong>, utile quando siamo in fase di sviluppo di un nuovo sito web.<\/p>\n
\"\"
Su WordPress \u00e8 possibile impostare il meta robots in noindex<\/figcaption><\/figure>\n
Importante<\/b>: quando creiamo un nuovo sito<\/b>, assicuriamoci che sia impostato in noindex<\/b> e non permetta l\u2019indicizzazione, e ricordiamoci poi di permettere nuovamente l\u2019indicizzazione quando lo pubblichiamo<\/b>. Errore tipico \u00e8 di dimenticarsi questi due piccoli dettagli, che possono portare a un calo improvviso<\/b> o una variazione drastica del traffico<\/b> quando viene fatto un restyling.<\/p>\n
Per il resto, l\u2019indicizzazione dei contenuti avviene in modo abbastanza automatico e naturale<\/b>, ma possiamo velocizzarla<\/b> per i nuovi contenuti usando Google Search Console<\/b> o strumenti simili, che ci permettono di inviare i singoli URL<\/b> per richiederne l\u2019indicizzazione.<\/p>\n
Link utili<\/h2>\n