Dunque, l’argomento non è immediato, quindi partiamo col dare un nome alle cose per orientarci. Prima di capire come migliorare la scansione delle pagine del tuo sito web, vediamo che differenza c’è tra crawl rate, crawl budget e crawl delay.
migliorare la scansione
Il crawl rate è il numero di percorsi che un bot come Googlebot può seguire contemporaneamente tramite accessi simultanei.
Il crawl budget è il numero di percorsi che Googlebot è complessivamente disposto a scansionare per un sito web in particolare.
Il crawl delay è il tempo che intercorre tra una richiesta del bot al web server e un’altra.
In passato aveva (forse) più senso di oggi rallentare il crawl delay sui siti web di grandi dimensioni – e solo per alcuni bot – aggiungendo una direttiva specifica nel file Robots.txt che serviva proprio a definire l’intervallo in secondi tra una richiesta e l’altra.
Ad esempio:
User-agent: bingbot
Crawl-delay: 5
Dice a Bingbot di far passare 5 secondi tra la richiesta di un percorso e l’altra. Un tempo sufficientemente lungo da evitare che richieste troppo frequenti al web server causino problemi e rallentamenti al sito web. Ma aveva senso per siti web di grossi giornali o per i social network e non tanto per i siti web “normali” con frequenze di scansione che semmai sarebbero da aumentare e non da tenere a bada. Poi c’è la questione dei Bot e dei Tool da bloccare in toto, ma quella è un’altra storia.
Ora, al netto delle mosse protezionistiche, se guardiamo i primi due fattori, crawl rate e crawl budget, possiamo dire che siano interdipendenti, ma solo se introduciamo un terzo fattore: il crawl demand.
L’importanza del Crawl demand
Il Crawl demand è la misura del desiderio che Google ha di richiedere una certa risorsa. Ed è il desiderio che muove tutto, ricordalo sempre, non il caos, il desiderio.
Un crawl demand distribuito su più pagine porta ad aumentare il crawl rate e conseguentemente il crawl budget. Proviamo a fare un esempio chiarificatore: se il tuo sito web ha 1.000 pagine, di cui Google è disposto a richiederne complessivamente 100, avrai un crawl budget di 100 che è il 10% della popolazione dei percorsi con output HTML. Ora se Google riesce a collegarsi solo a 10 pagine simultaneamente, allora hai un crawl rate che copre solo l’1% dei percorsi del tuo sito web. Chiaro fin qui?
Bene, ora se nel tuo sito web riesci a far diventare molto popolari 20 pagine e ad aumentare il desiderio percepito da Googlebot su queste, aggiornandole tutte e 20 in breve tempo potresti aumentare il crawl rate, portandolo dall’1% al 2%. È solo un esempio che porto su base ipotetica, per far capire il senso e suggerire uno spunto, senza sapere quanto e se possa funzionare.
Infine il crawl budget – ricordiamolo – è generalmente molto più ampio rispetto a quanto il sito web meriterebbe, dunque non è detto che debba crescere ancora, ma lo fa all’aumentare della volumetria complessiva del sito web, a patto che Google abbia “desiderio” di seguire le pagine interne. E quindi?
Conclusioni: come migliorare la scansione di un sito web
Come prima cosa, punta tanto sulle performance delle pagine, perché puoi star certo che Googlebot non ha tempo e risorse da buttare via. Come seconda cosa, devi portare sempre più traffico su sempre più pagine in modo costante, mano mano che il sito web cresce. Il gioco è tutto lì.
Per raggiungere quest’obiettivo puoi seguire queste strade:
- Frequenza di pubblicazione (se fai news)
- Frequenza di aggiornamento dei contenuti (se pubblichi guide evergreen)
- Notifiche push (sottovalutatissime)
- Newsletter
- Contenuti sponsorizzati
- Condivisione sulle community
E qualunque altra cosa ti venga in mente per far arrivare costantemente il numero più ampio di persone possibile in breve tempo sulla pagina nuova o aggiornata. Se questo succede, puoi aumentare il crawl demand, il crawl rate e il crawl budget. E sono queste le cose che producono visibilità, posizionamenti e altro traffico.
Ricordatelo la prossima volta che ti viene in mente di chiedere se ha più senso usare due tag H1 o tre H3.
Per dire.
