Google svela i fattori di crawling: quando il crawler smette di leggere i tuoi contenuti

Marco Angelucci Seo News 2 Ottobre 2014 | 0

Quando si ferma il crawler

Qui non c’entrano penalizzazioni per spam, abuso di backlink o altre nefandezze: quando il crawler di Google si ferma, il problema è di natura tecnica e occorre subito rimediare….

La fonte in questione è abbastanza autorevole, la cornice della dichiarazione ancora di più: si tratta di alcune considerazioni di Gary Illyes (Google Webmaster Trends Analyst) nel secondo giorno di conferenze all’SMX East di New York.

Secondo Illyes ci sono due modi che Google utilizza per determinare quando Googlebot (il suo crawler) deve rallentare oppure bloccare la scansione del tuo sito.

Uno dei fattori SEO più importanti è l’accessibilità del crawler: devi assicurarti, in poche parole, che le tue pagine siano raggiungibili dai motori di ricerca. Altrimenti le possibilità di entrare nelle SERP (anche nella pagina numero 999) sono pari a zero.

Google utilizza molti segnali per determinare se e quando sospendere le attività del crawler sul tuo sito e in aggiunta a quei segnali che possono provenire anche da webmaster: come ad esempio l’impostazione di un file robots.txt, il rifiuto o il nofollow su un link.

I segnali più importanti per Google, secondo Illyes, sono la velocità di caricamento e gli errori di stato HTTP.

Velocità di caricamento

Google considera importante il tempo che il crawler impiega per collegarsi dal loro server alla tua pagina web. Se il tempo, che la tua pagina impiega per caricarsi, sale oltre misura (es. 5 secondi sono già un’eternità), il crawler potrebbe fare marcia indietro oppure rallentare la sua attività fino a fermarsi del tutto.

La velocità di caricamento è quindi determinante come fattore di crawling e, se non contribuisce ad una sua completa fermata, sicuramente può influire sulla sua frequenza di ritorno.

Gli errori di stato HTTP

Gli errori della serie 5xx sono quelli fatali: quando il crawler riceve in risposta dal tuo server uno stato, ad esempio 500 (dovuto ad un errore nell’applicazione) e ripetuto nel tempo, potrebbe decidere (in autonomia) di non ritornare più…

Sugli errori 404 e 410, qualche mese fa era intervenuto anche il capo (a riposo) della Search Spam di Google, Matt Cutts.

A tutti ovviamente viene concessa una seconda possibilità: quando il bot di Google incontra uno di questi due problemi ritorna almeno una seconda volta per verificare se il problema sia stato risolto.

Lo stop fatale delle attività del crawler si verifica solo quando i problemi tecnici si confermano come permanenti: così come l’utente finale non potrà più accedere ai contenuti, anche il crawler (che è un utente speciale) cambia direzione.