Verificatore del blocco dei motori di ricerca
Il verificatore del blocco dei motori di ricerca di SEOptimer legge il tuo robots.txt e ti informa se Google e altri motori di ricerca sono bloccati durante la scansione del tuo sito.
Esegui un audit SEO su qualsiasi sito in pochi secondi
+ Strumenti SEO / GEO completi per ogni esigenza
Esegui oltre 100 controlli sul tuo sito web per SEO On-Page, usabilità, prestazioni, social e link. Ora con GEO incluso in ogni report. SEOptimer offre anche ricerca di parole chiave, monitoraggio del posizionamento, analisi dei backlink e un crawler completo del sito.
Informazioni sul blocco dei motori di ricerca in Robots.txt
Cosa significa realmente essere bloccati?
Una regola in robots.txt indica a un crawler di non recuperare un percorso. Se applicata all'intero sito, impedisce ai motori di ricerca di leggere qualsiasi contenuto e tutto ciò che dipende da questo smette di funzionare: non vengono scoperti nuovi contenuti, mentre le pagine esistenti diventano obsolete e alla fine vengono rimosse dall'indice.
Questo strumento legge il tuo file robots.txt e segnala se ai motori di ricerca viene impedito di accedere al tuo sito.
È la singola riga più dannosa che un sito possa contenere, ed è lunga una sola riga.
Come succede
Quasi sempre per errore, e quasi sempre nello stesso modo: viene creato un sito di staging con un divieto di accesso globale per tenerlo fuori dai risultati di ricerca, ma il file viene pubblicato insieme al resto del deployment.
I sistemi di gestione dei contenuti hanno una propria versione di questa impostazione. Nella maggior parte di essi esiste un'opzione «scoraggia i motori di ricerca», che viene selezionata durante lo sviluppo e raramente viene più presa in considerazione.
Quando succede, non si verifica alcun problema visibile. Il sito funziona perfettamente per ogni persona che lo visita, motivo per cui spesso passano settimane prima che qualcuno colleghi il calo del traffico alla sua causa.
Bloccare non equivale a rimuovere
Questa è la parte che sorprende le persone. Una pagina bloccata può comunque comparire nei risultati, elencata senza descrizione, perché al crawler è stato detto di non leggerla, ma non di escluderla.
Per escludere correttamente una pagina dai risultati è necessaria una direttiva noindex, il che significa che il crawler deve poter recuperare la pagina per rilevarla. Il blocco e la deindicizzazione vanno in direzioni opposte.
Pertanto, robots.txt è lo strumento sbagliato per la privacy. Controlla il crawling, non la visibilità, e il file stesso è pubblico.
Robots.txt è ancora importante nel 2026?
È il punto di partenza di tutto. Contenuti, struttura, velocità e link presuppongono che un crawler possa raggiungere la pagina in primo luogo, e nessuno di questi elementi è utile se non può farlo.
Ha assunto anche un secondo incarico. Lo stesso file ora determina se i crawler dell’IA possono leggere il tuo sito, decidendo se le tue pagine possono essere citate nelle risposte generate.
Per un file che di solito contiene solo una manciata di righe, ha un’importanza spropositata.
Cosa controlla questo strumento
Recupera il file robots.txt dal dominio inserito e indica se le regole impedirebbero ai motori di ricerca di eseguire la scansione del sito.
Il superamento del controllo significa che nulla ne impedisce l’accesso a livello di sito. Non conferma che i singoli percorsi siano accessibili, quindi vale la pena controllare separatamente una pagina che non viene indicizzata nonostante il controllo sia superato.
Cosa fare dopo
Se la scansione è consentita, le domande successive sono: cosa è individuabile e cosa è stato escluso deliberatamente. Esamina l’intero file robots.txt, verifica che la tua Sitemap XML sia presente e aggiornata e assicurati che nessun tag noindex stia facendo silenziosamente ciò che robots.txt non fa.
Strumento SEO completo con oltre 55 strumenti
Controlla titoli, meta description, intestazioni, dati strutturati, Core Web Vitals, SSL e robots.txt. Genera meta tag, sitemap e regole .htaccess, minimizza CSS, JS e HTML e crea contenuti con i nostri strumenti di scrittura basati sull’IA, istantaneamente e gratuitamente.
Approfondimenti
Vedi di più
Robots.txt - La Guida Definitiva
Cos'è Robots.txt? Robots.txt è un file in formato testo che istruisce i bot crawler ad indicizzare o non indicizzare certe pagine. È an...
How to Fix 'Indexed, though blocked by robots.txt' in Google Search Console
If you received the warning ‘Indexed, though blocked by robots.txt’ notification in Google Search Console, you’ll want to fix it as soon a...
What is a Google Crawler?
You know when you use Google to search for a service, or find information? And once the page loads there is always one website at the very t...
Crawl Depth in SEO: What is It & How to Improve It?
Crawl depth influences how efficiently Google can index your content.
Googlebot has limited time and server resources. Therefore, th...