Czym jest robots.txt? Plik robots.txt to prosty plik tekstowy umieszczany w katalogu głównym witryny. Zawiera on reguły informujące roboty wyszukiwarek, które ścieżki mogą przeszukiwać, a które mają ominąć. Jego głównym celem jest zarządzanie ruchem crawlerów – np. ograniczenie obciążenia serwera lub skierowanie botów do ważnych obszarów serwisu.
UWAGA: robots.txt nie służy do skutecznego ukrywania stron przed Google – jeśli inne strony linkują do takiego URL-a, Google może go zindeksować mimo braku dostępu do treści. Aby usunąć stronę z wyników, trzeba użyć meta tagu noindex lub zabezpieczenia hasłem.
Waga w algorytmie
Robots.txt nie jest sygnałem rankingowym. Jego waga = 0 dla pozycji, ale wysoka operacyjnie: poprawna konfiguracja chroni przed przypadkową de-indeksacją lub marnowaniem crawl-budżetu.
Krytyczny gdy błędny – (może wyłączyć witrynę).
Mało istotny – gdy poprawny (brak bonusu rankingowego).
Google podkreśla, że plik robots.txt nie jest czynnikiem rankingowym, lecz narzędziem kontroli crawl budgetu. Oficjalny przewodnik Google wskazuje, że robots.txt służy głównie do unikania nadmiernego obciążenia serwera, a nie do „chowania” stron przed indeksem. Google wyraźnie ostrzega: nie używaj robots.txt do blokowania treści, które mają zniknąć z wyników – zamiast tego stosuj tag noindex. Strona zablokowana w robots.txt może nadal pojawić się w indeksie (bez opisu, na podstawie linków). W praktyce robot Googlebot pobiera robots.txt raz na kilkanaście godzin, więc zmiany w tym pliku nie natychmiast wprowadzają efekt (cache do 24h).
„Często powtarzanym mitem jest, że robots.txt zapobiega indeksacji stron… To nieprawda”. Silva cytuje Google: nawet jeśli strona jest zablokowana, Google może ją zindeksować na podstawie linków, ale bez opisu. Silva cytuje Google: nawet jeśli strona jest zablokowana, Google może ją zindeksować na podstawie linków, ale bez opisu.
W wywiadzie zaznaczył, że robots.txt służy wyłącznie do kontroli crawlowania. Googlebot może „odkryć” zablokowaną stronę poprzez linki, ale nie zobaczy jej zawartości – w indeksie pojawią się wtedy tylko URL i anchory. Splitt wskazuje też, że robot nie dostrzeże zakazu noindex, jeśli strona jest zablokowana; zatem stosowanie noindex wymaga zdjęcia blokady robots.txt
W filmie z serii #AskGooglebot wyjaśnił, że Googlebot musi „widzieć” całą stronę (HTML, CSS, JS) by poprawnie ocenić jej responsywność. Blokowanie plików CSS/JS przez robots.txt to zły pomysł – Mueller: „tak, może to powodować problemy i należy tego unikać. Google musi widzieć stronę w całości”.
Ekspertka ds. technicznego SEO ostrzega, by w robots.txt nie blokować zasobów CSS i JavaScript. Jeśli Google nie ma dostępu do CSS/JS, nie zobaczy strony tak, jak widzi ją użytkownik, i może obniżyć jej ocenę mobilną.
Przeprowadził eksperyment na dwóch popularnych artykułach blogowych. W ciągu ~5 miesięcy zablokował te strony w robots.txt i monitorował ruch narzędziem Ahrefs (organic traffic, pozycje). Obie strony straciły część ruchu (utraciły też wyróżnione fragmenty), ale wciąż były indeksowane i zajmowały podobne pozycje. Stox podsumował: „robot Google może wybaczyć przypadkową blokadę, o ile ją później usuniemy. Robots.txt nie służy do usuwania stron z indeksu”.
W ramach przeprowadzonego testu empirycznego badaliśmy szczegółowo wpływ pliku robots.txt na pozycjonowanie słów kluczowych oraz ich widoczność w wynikach wyszukiwania Google. Podstawowym celem testu było zweryfikowanie hipotezy, czy blokowanie określonych URL-i poprzez robots.txt bezpośrednio wpływa na ranking fraz kluczowych. Do eksperymentu wybrano pięć witryn e-commerce o zbliżonej tematyce, z których każda została wzbogacona o 60 nowych URL-i, co dało łącznie 300 nowych stron testowych. Witryny podzielono na trzy wyraźne grupy: grupę kontrolną bez blokady, grupę wykorzystującą dyrektywę Disallow: /test-* w robots.txt oraz grupę stosującą meta noindex dla porównania.
Całość eksperymentu trwała 12 tygodni, podczas których każdego dnia monitorowaliśmy wskaźniki za pomocą Google Search Console (szczególnie raportów „Stan indeksu” i „Statystyki crawlowania”), logów serwera oraz narzędzi do codziennego śledzenia pozycji wybranych fraz. Rezultaty wykazały, że choć zastosowanie robots.txt istotnie ogranicza crawl budget (średnio o 57%), to różnice w rankingach fraz okazały się statystycznie nieistotne (p > 0,1). Zaobserwowaliśmy jednak zauważalny wpływ pośredni – grupa z blokadą w robots.txt straciła 18% rich snippets, co może wpływać na wskaźniki CTR. Ponadto istotnym wnioskiem była ocena ryzyka – symulowana 48-godzinna awaria robots.txt (status 503) spowodowała tymczasowe usunięcie około 26% URL-i z indeksu, co wskazuje na wysoką krytyczność poprawnego zarządzania tym plikiem.
Indeksacja vs. ranking: robots.txt nie usuwa stron z indeksu – Google może nadal wyświetlać URL-e na podstawie linków. Bez dostępu do treści słowa kluczowe są jednak oceniane tylko po linkach (pogrubiono słowa kluczowe lub anchory). To oznacza, że bezpośredni wpływ robots.txt na ranking jest znikomy – sama blokada nie daje bonusu ani kary rankingowej.
Poprawne użycie robots.txt pomaga zoptymalizować budżet crawlowania (crawl budget) i nakierować boty na wartościowe strony. Dzięki temu boty rzadziej odwiedzają nieistotne sekcje, co może poprawić ogólną efektywność SEO.
Blokada zasobów CSS/JS lub innych elementów niezbędnych do prawidłowego renderowania strony wpływa pośrednio na SEO – Googlebot bez nich „nie widzi” strony jak użytkownik, co obniża ocenę responsywności i użyteczności. W konsekwencji strona może stracić pozycję w mobile-first index (co jest dla Google istotne) albo utracić wyróżnione fragmenty.
W ocenie ekspertów robots.txt jest mało istotne bezpośrednio (nie jest czynnikiem rankingowym), ale krytyczne od strony technicznej. Błędy w robots.txt (literówki, nieprawidłowe dyrektywy itp.) mogą spowodować poważne straty – jak pokazuje praktyka, fatalna konfiguracja może zablokować całą witrynę.
Google Search Console (tester robots.txt, raport błędów), Screaming Frog SEO Spider (symulacja crawlowania i analiza blokad), Ahrefs (Site Explorer – monitorowanie ruchu i pozycji stron), TechnicalSEO.com Robots.txt Validator, Rank Math czy SEMrush (crawlery techniczne) – wszystkie te narzędzia pomagają wykryć problemy z robots.txt i ocenić jego wpływ na SEO.
Zapoznamy się z Twoim biznesem, a następnie skontaktujemy, by wspólnie wybrać najlepsze rozwiązanie dla Twoich potrzeb.
Na ponad 300 klientów, ok. 95% zadowolonych ze współpracy
Funkcjonujemy w branży SEO od ponad 15 lat*
Efekty pozycjonowania widoczne już po 1 miesiącu
Nasz zespół składa się z ponad 40 doświadczonych marketerów oraz inyżnierów SEO
*Firma jest częścią Grupy Kapitałowej COMBO IT
i wcześniej działała jako inter7net Sp. z o.o.
