Un sito web che non è indicizzato è come se non esistesse poiché non apparirà nelle query di ricerca e non otterrà traffico organico. Ecco perché non possiamo permettere a Google di non indicizzare il nostro sito web. Purtroppo, questo è un problema abbastanza comune.
Niente panico! In questo post, vi spiegheremo le tecniche principali per ottenere il vostro sito web indicizzato da Google.
Sommario
Come funziona l'indicizzazione di Google?
Google si basa su algoritmi un po' complessi, ma il processo che segue per indicizzare una pagina è semplice. Il motore di ricerca si basa su una serie di codici che conosciamo come web spider, crawler o bot.
Questi spider ispezionano le pagine web per trovare contenuti nuovi e aggiornati. Questo può essere una nuova pagina su un sito esistente o un sito web completamente nuovo. I bot iniziano scansionando alcune pagine web e poi seguono i link di quelle pagine per trovare nuovi URL.
Un po' di tempo fa, le SERP di Google erano facili da "manipolare", e si poteva ottenere che Google indicizzasse un sito web fondamentalmente in base alle sue parole chiave e ai suoi link.
Oggi la situazione è completamente diversa. Anche se quelle parole chiave sono ancora importanti, Google dà anche un grande peso all'esperienza dell'utente e all'intenzione dietro la ricerca. Possiamo dire che gli spider sono più intelligenti ora.
L'indicizzazione di Google si riferisce a come gli spider elaborano i dati trovati su una pagina mentre la scansionano.
Come ottenere rapidamente il tuo sito web indicizzato da Google
Come abbiamo detto, è abbastanza comune che Google non indicizzi una pagina, ma le cause sono solitamente le stesse.
Puoi risolverli applicando le seguenti soluzioni:
Verifica di avere le direttive robots.txt appropriate
Una ragione per cui Google potrebbe non indicizzare il tuo sito potrebbe essere a causa delle direttive date nel file robots.txt.
Per verificarlo, andate su yourdomain.com/robots.txt e cercate uno di questi due codici:
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /
Entrambi indicano a GoogleBot che non dovrebbe scansionare nessuna pagina del sito. È necessario rimuoverli per risolvere il problema senza ulteriori indugi.
Rimuovere i tag noindex
Google non indicizzerà la vostra pagina se gli dite di non farlo. Questo potrebbe essere utile per mantenere la privacy di alcune pagine web.
Ci sono due modi per dire al motore di ricerca di non indicizzare un sito:
Meta tag
Google does not index pages with any of these meta tags in the <head> of the HTML:
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
È necessario rimuovere i tag "noindex" situati nelle pagine che volete che Google indicizzi. Per farlo, puoi usare un SEO Crawler come FandangoSEO per identificare rapidamente tutte le pagine con il tag noindex.
X-Robots-Tag
GoogleBot rispetta anche la direttiva X-Robots Tag. Puoi controllare se Google non può scansionare una pagina a causa di questa direttiva usando lo strumento di ispezione degli URL da Google Search Console.
Dovresti chiedere al tuo sviluppatore di escludere le pagine che vuoi indicizzare in modo che non restituiscano questa intestazione.
Utilizzare l'API di indicizzazione di Google o GSC
I siti con molte pagine con poco contenuto (annunci, offerte di lavoro, ecc.) possono utilizzare l'API di indicizzazione di Google per richiedere automaticamente nuovi contenuti e modifiche al contenuto da scansionare e indicizzare.
L'API permette l'invio di URL individuali. È utile affinché Google mantenga aggiornato l'indice della tua pagina. Grazie a questa API sarete in grado di:
- Aggiornare un URL: Notifica a Google un URL nuovo o aggiornato da scansionare.
- Cancellare un URL: Informare il motore di ricerca che una pagina obsoleta è stata rimossa dal sito.
- Controlla lo stato di una richiesta: Vedere quando GoogleBot ha eseguito l'ultima scansione dell'URL.
Questo è qualcosa che si può fare anche con FandangoSEO. Lo strumento consente di richiedere a Google fino a 200 URL da indicizzare in una sola volta.
Un altro modo per accelerare l'indicizzazione delle tue pagine web è attraverso Google Search Console. Utilizza lo strumento di ispezione degli URL di GSC per chiedere a Google di effettuare una nuova scansione delle tue pagine. Questo è utile per richiedere il crawl di singoli URL. Permette un massimo di 12 invii di URL al giorno, quindi se hai bisogno di inviarne di più, è meglio usare una sitemap XML.
Per iniziare, è necessario ispezionare gli URL attraverso l'URL Inspection Tool. Quindi selezionare Richiedi indicizzazione. Lo strumento controllerà innanzitutto se ci sono problemi di indicizzazione. Se questo non è il caso, l'URL sarà messo in coda per il crawling.
Eliminare i tag canonici errati
Il tag canonical dice a Google quale versione di una pagina è preferenziale. La maggior parte delle pagine non lo contengono, quindi i motori di ricerca presumono che dovrebbero indicizzarle. Tuttavia, se la tua pagina ha un tag canonico errato, potrebbe causare un errore informando Google di una versione preferita che non esiste.
Se vuoi rivedere i tag canonici su un sito web, usa lo strumento di ispezione degli URL di Google o un SEO Crawler. Se rileva una pagina che non dovrebbe contenere il tag canonico, rimuova il tag da essa.
Includi le pagine rilevanti nella tua mappa del sito
Lavostra sitemap dice a Google quali pagine sono essenziali e quali no. Da qui l'importanza di fornire una sitemap a Google.
La verità è che il motore di ricerca dovrebbe essere in grado di trovare le pagine del tuo sito web indipendentemente dal fatto che siano sulla sitemap o meno, ma è una buona idea includerle poiché "rende le cose più facili" per Google.
Puoi usare lo strumento URL Inspection di GSC per controllare se una pagina è inclusa nella sitemap.
Rilevare le pagine orfane
Una pagina orfana è una pagina senza link interni. Google scopre nuovi contenuti quando scansiona il web, ma logicamente non può trovare pagine orfane se non ci sono link ad esse. E nemmeno i visitatori del sito.
Puoi rilevare se ci sono pagine orfane su un sito web usando un SEO Crawler. Scopri di più nella nostra Guida alle pagine orfane.
Fissa i link interni che contengono l'attributo nofollow
I link Nofollow sono quelli che contengono un tag rel="nofollow" e utilizzati per impedire il trasferimento di PageRank all'URL di destinazione. Google non ha monitorato questo tipo di link fino all'aggiornamento Nofollow del 1 marzo 2020, quando ha dichiarato che questo attributo ora funziona solo come suggerimento.
Dovreste rivedere i vostri link interni per identificare quelli che contengono un attributo nofollow. Se volete che la pagina di destinazione sia indicizzata, dovrete rimuovere le linee guida nofollow.
Aggiungi potenti link interni
Se vuoi che Google indicizzi una pagina velocemente, puoi mostrare quanto sia preziosa questa pagina fornendo una buona quantità di link juice (o autorità) ad essa. Puoi farlo collegando la pagina il più vicino possibile alla tua home page. Il numero di inlink che la pagina ha rivela anche il suo peso sul tuo sito.
Scopri di più su come creare un forte linking interno nella nostra guida.
Evitare il contenuto duplicato
Ibot di Google si confondono se ci sonocontenutiduplicati. Il motore di ricerca inizialmente indicizza solo un URL per ogni set unico di contenuti, quindi contenuti simili rendono difficile per loro decidere quale versione indicizzare.
Poiché le pagine con contenuti simili "competono" l'una con l'altra, ciò influisce negativamente sulla performance di tutte. Ecco perché è necessario evitare i contenuti duplicati.
Assicurati che la tua pagina abbia valore
Non è probabile che Google indicizzi pagine di bassa qualità, poiché non forniscono valore all'utente. Pertanto, se non c'è un problema tecnico che spiega la mancata indicizzazione, la ragione potrebbe essere la mancanza di valore del contenuto.
Chiediti se la pagina ha valore e se vale la pena cliccarci sopra. In caso contrario, sarebbe necessario migliorarne il contenuto. Tieni sempre presente l'intento dell'utente.
Come potete vedere, il punto è controllare che nessun problema tecnico impedisca l'indicizzazione della pagina. E una volta che questo è stato escluso, è necessario guardare se fornisce valore all'utente.
