Google sconsiglia di utilizzare i codici di stato 403 o 404 per limitare la velocità di scansione di Googlebot, suggerendo invece di utilizzare la funzione velocità di scansione di Google Search Console.
Gary Illyes del team Google Search Relations avverte che l’utilizzo di 404 e altri errori di stato del server client 4xx, come i 403, usati per limitare la velocità di scansione di Googlebot non sono consigliato e avvisa gli utenti: “Per favore, non fatelo”.
Questo avviso nasce a causa dell’aumento di proprietari di siti web e alcune reti di distribuzione di contenuti (CDN) che utilizzano queste tecniche per tentare di limitare la scansione di Googlebot. Gary Illyes spiega che l’approccio migliore consiste nell’utilizzare le impostazioni della velocità di scansione di Google Search Console per regolare la velocità di scansione.
In questo senso, Google ha scritto un documento di aiuto dettagliato sul tema della riduzione della scansione di Googlebot sul sito e suggerisce di “modificare la velocità di scansione di Googlebot in Search Console per ridurre rapidamente la velocità di scansione. Le modifiche apportate a questa impostazione vengono generalmente applicate entro pochi giorni. Per utilizzare questa impostazione, verifica innanzitutto la proprietà del tuo sito. Assicurati di evitare di impostare la velocità di scansione su un valore troppo basso per le esigenze del tuo sito.”
Se le impostazioni della velocità di scansione non sono disponibili, Google consiglia di ridurre la velocità di scansione per un breve periodo di tempo, quindi restituire una pagina di errore informativa con un errore 500, 503 o 429.
Se si notano problemi di scansione, è possibile che il provider di hosting o CDN abbia recentemente implementato queste tecniche. Si consiglia di inviare una richiesta di assistenza per verificare se non stiano utilizzando 404 o 403 per limitare la velocità di scansione, mostrando loro il post del blog di Google sull’argomento.
Cosa succede se manometti la velocita di scansione in quel modo?
Se il tuo consulente SEO manomette la velocità di scansione devi sapere che tutti i codici di stato 4xxi (tranne 429) causeranno la rimozione dei tuoi contenuti dalla Ricerca Google. Quel che è peggio, se pubblichi anche il tuo file robots.txt con un codice 4xx, verrà trattato come se non esistesse. Se avevi una regola del genere, ora anche Googlebot la conosce.
