Informacje o blokowaniu wyszukiwarek w pliku robots.txt
Co właściwie oznacza blokowanie?
Reguła w pliku robots.txt informuje robota, aby nie pobierał danej ścieżki. Zastosowana do całej witryny, uniemożliwia wyszukiwarkom odczytywanie jakichkolwiek treści, a wszystko, co od tego zależy, przestaje działać: nie są wykrywane nowe treści, a istniejące strony stają się nieaktualne i ostatecznie wypadają z indeksu.
Ten moduł odczytuje plik robots.txt i informuje, czy wyszukiwarki są blokowane przed dostępem do Twojej witryny.
To pojedyncza, jednowierszowa reguła, która może wyrządzić witrynie największe szkody.
Jak do tego dochodzi
Niemal zawsze przypadkowo i niemal zawsze w ten sam sposób: tworzona jest witryna testowa z blokadą dla całej witryny, aby nie pojawiała się w wynikach wyszukiwania, a następnie ten plik trafia do wersji produkcyjnej wraz z resztą wdrożenia.
Systemy zarządzania treścią mają własną wersję tego mechanizmu. W większości z nich istnieje ustawienie „zniechęcaj wyszukiwarki”, które zostaje włączone podczas prac deweloperskich i rzadko jest później ponownie brane pod uwagę.
Nic nie psuje się widocznie, gdy do tego dochodzi. Witryna działa bez zarzutu dla każdego odwiedzającego ją użytkownika, dlatego często mija kilka tygodni, zanim ktokolwiek powiąże spadek ruchu z jego przyczyną.
Blokowanie to nie to samo co usuwanie
To właśnie zaskakuje wiele osób. Zablokowana strona może nadal pojawiać się w wynikach, bez opisu, ponieważ robotowi powiedziano, aby jej nie odczytywał, ale nie powiedziano mu, aby ją pominął.
Aby prawidłowo wykluczyć stronę z wyników, potrzebujesz dyrektywy noindex, co oznacza, że robot musi mieć możliwość pobrania strony, aby ją zobaczyć. Blokowanie i usuwanie z indeksu działają w przeciwnych kierunkach.
Dlatego robots.txt nie jest właściwym narzędziem do ochrony prywatności. Kontroluje indeksowanie, a nie widoczność, a sam plik jest publiczny.
Czy plik robots.txt nadal ma znaczenie w 2026?
To kwestia nadrzędna wobec wszystkiego innego. Treść, struktura, szybkość i linki zakładają, że robot może w ogóle dotrzeć do strony, a żaden z tych elementów nie pomoże, jeśli nie będzie to możliwe.
Pełni również drugą funkcję. Ten sam plik określa teraz, czy roboty AI mogą odczytywać Twoją witrynę, a tym samym decyduje o tym, czy Twoje strony mogą być cytowane w generowanych odpowiedziach.
Jak na plik, który zwykle składa się z zaledwie kilku wierszy, ma on nieproporcjonalnie duże znaczenie.
Co sprawdza to narzędzie
Pobiera plik robots.txt z podanej domeny i informuje, czy zawarte w nim reguły uniemożliwiają wyszukiwarkom indeksowanie Twojej witryny.
Pozytywny wynik oznacza, że na poziomie witryny nic nie blokuje robotów. Nie potwierdza jednak, że poszczególne ścieżki są dostępne, dlatego stronę, która mimo pozytywnego wyniku nie jest indeksowana, warto sprawdzić osobno.
Co dalej
Jeśli indeksowanie jest dozwolone, kolejne pytania brzmią: co można wykryć, a co zostało celowo wykluczone. Przejrzyj cały plik
robots.txt, sprawdź, czy plik
Mapa witryny XML jest obecny i aktualny, oraz upewnij się, że żaden tag
noindex nie robi po cichu tego, czego nie robi plik robots.txt.