Technika SEO · darmowe narzędzie
Tester reguł robots.txt
Wklej treść robots.txt i listę adresów. Narzędzie sprawdzi każdy adres według zasad z RFC 9309 i dokumentacji Google, pokaże regułę, która przesądziła o wyniku, i wskaże błędy w pliku.
- zasady RFC 9309 i Google: najdłuższa reguła, remis dla Allow
- znaki * i $ w regułach
- wybór grupy po najbardziej szczegółowym user-agencie
- test wielu adresów naraz
Narzędzie działa w Twojej przeglądarce. Wpisane dane nie są wysyłane na serwer.
Jak czytać wynik
Jak Google dopasowuje reguły
Najdłuższa reguła
Gdy do adresu pasuje kilka reguł, wygrywa ta z najdłuższą ścieżką. Przy równej długości Allow i Disallow Google stosuje mniej restrykcyjną, czyli Allow.
Znaki specjalne
Gwiazdka * oznacza dowolny ciąg znaków, a $ koniec adresu. Reguła Disallow: /*.pdf$ blokuje wszystkie pliki PDF, ale nie blokuje adresu /plik.pdf?wersja=2.
Dyrektywy nieobsługiwane
Google nie obsługuje w robots.txt dyrektyw noindex, nofollow i crawl-delay. Noindex trzeba ustawić w meta robots albo w nagłówku X-Robots-Tag.
Co potrafi narzędzie
- zasady RFC 9309 i Google: najdłuższa reguła, remis dla Allow
- znaki * i $ w regułach
- wybór grupy po najbardziej szczegółowym user-agencie
- test wielu adresów naraz
- ostrzeżenia: noindex, crawl-delay, rozmiar pliku, nieznane dyrektywy
- pobranie robots.txt z domeny
Pytania
Najczęstsze pytania
Czy wielkość liter w robots.txt ma znaczenie?
W nazwach dyrektyw i user-agentów nie, w ścieżkach tak. Reguła Disallow: /Admin nie blokuje adresu /admin. Narzędzie porównuje ścieżki z uwzględnieniem wielkości liter, tak jak Google.
Jak duży może być plik robots.txt?
Google przetwarza pierwsze 500 KiB pliku robots.txt, a reguły dalej pomija. Przy bardzo dużych plikach warto łączyć podobne reguły za pomocą znaku *.
Co się stanie, gdy robots.txt nie istnieje?
Jeśli serwer zwraca dla robots.txt kod 404, Google uznaje, że może pobierać całą witrynę. Błąd serwera 5xx przez dłuższy czas może natomiast wstrzymać pobieranie strony przez Googlebota.
Powiązane narzędzia
Sprawdź też
Sprawdzanie robots.txt i mapy witryny
Reguły robots.txt dla Googlebota i botów AI, adresy map witryny, liczba adresów i daty lastmod.
Otwórz narzędzie Analiza adresu URLAnaliza meta tagów strony
Title, description, canonical, robots, nagłówki H1–H6, hreflang, dane strukturalne, obrazy i linki jednej strony.
Otwórz narzędzie Technika SEO · w przeglądarceGenerator hreflang
Znaczniki hreflang w HTML, nagłówku HTTP i mapie witryny z kontrolą kodów języków i regionów.
Otwórz narzędzieBezpłatny audyt
Wynik pokazał błędy? Sprawdzimy całą witrynę
Narzędzie analizuje jedną stronę albo jeden plik. Audyt icomSEO obejmuje wszystkie podstrony, dane z Google Search Console i plan poprawek z kolejnością wdrożenia.
