Strona główna / Wiedza / Działania / Pełny audyt techniczny: crawl, indeksacja i crawl budget
Audyt techniczny i indeksacja

Pełny audyt techniczny: crawl, indeksacja i crawl budget

Audyt techniczny sprawdza, czy roboty wyszukiwarek mogą znaleźć, pobrać i zaindeksować strony Twojego serwisu. Skanujemy cały serwis, porównujemy wyniki z danymi z Search Console i wskazujemy błędy, które marnują crawl budget. Z audytu powstaje lista poprawek z priorytetami.

12działań w tej grupie
11z priorytetem P1
D-061P1 · krytyczne

Pełny crawl serwisu

Skanujemy cały serwis crawlerem, czyli programem, który przechodzi po linkach tak jak robot Google. Robimy to z różnymi user-agentami, np. jako robot mobilny i desktopowy, żeby wychwycić różnice w tym, co widzą.

Jak to robimy

  1. Konfigurujemy crawl z renderowaniem JavaScript i tempem dostosowanym do wydajności Twojego serwera.
  2. Zbieramy statusy HTTP, canonicale, meta robots, tytuły, nagłówki H1 i duplikaty.
  3. Mierzymy głębokość kliknięć i liczbę linków wewnętrznych prowadzących do każdej strony.
  4. Łączymy crawl z mapą witryny i danymi z GSC, żeby znaleźć strony osierocone.

Co otrzymujesz

Dostajesz pełny obraz techniczny serwisu z listą problemów pogrupowanych według typu i wagi. Ten crawl jest punktem wyjścia dla pozostałych działań audytu.

Kiedy i w jakiej formie: Start + co miesiąc/kwartał; Screaming Frog/Sitebulb

  • Screaming Frog
  • Sitebulb
  • Google Search Console
D-062P1 · krytyczne

Audyt indeksacji w GSC

Analizujemy raport „Strony” w Search Console, który pokazuje, które adresy Google zaindeksował, a które pominął i dlaczego. Każdy powód wykluczenia oceniamy osobno, bo część z nich jest pożądana, a część oznacza błąd.

Jak to robimy

  1. Eksportujemy listy adresów dla każdego powodu wykluczenia, np. soft 404, przekierowań i stron alternatywnych.
  2. Sprawdzamy duplikaty bez wskazanej przez użytkownika strony kanonicznej i ustalamy właściwy canonical.
  3. Analizujemy strony zeskanowane lub wykryte, ale niezaindeksowane, pod kątem jakości i linkowania.
  4. Porównujemy zaindeksowane adresy z mapą witryny i oznaczamy problemy z sitemapą.

Co otrzymujesz

Otrzymujesz raport indeksacji z podziałem na wykluczenia do naprawy i wykluczenia prawidłowe. Każda grupa problemów ma przypisane działanie i osobę odpowiedzialną.

Kiedy i w jakiej formie: Tygodniowo/miesięcznie

  • Google Search Console
D-063P1 · krytyczne

Robots.txt

Przeglądamy plik robots.txt pod kątem blokad, które odcinają roboty od ważnych sekcji, plików CSS i JS albo wersji mobilnej. Robots.txt służy do zarządzania skanowaniem, dlatego nie używamy go do ukrywania poufnych treści.

Jak to robimy

  1. Analizujemy reguły Disallow i Allow dla wszystkich zdefiniowanych w pliku robotów.
  2. Testujemy, czy zasoby potrzebne do renderowania strony są dostępne dla Googlebota.
  3. Porównujemy zablokowane ścieżki z listą adresów, które mają trafić do indeksu.
  4. Wskazujemy treści poufne, które zamiast blokady w robots.txt wymagają hasła lub noindex.

Co otrzymujesz

Dostajesz poprawiony plik robots.txt z opisem każdej reguły. Roboty skanują to, co ważne, a strony prywatne są chronione właściwą metodą.

Kiedy i w jakiej formie: Start + po każdej zmianie technicznej

  • Google Search Console
  • Screaming Frog
D-064P1 · krytyczne

Meta robots i X-Robots-Tag

Wyszukujemy dyrektywy noindex, nofollow, nosnippet i noarchive w kodzie stron oraz w nagłówkach X-Robots-Tag. Przypadkowe blokady na ważnych stronach usuwamy, a świadome zostawiamy na stronach o niskiej wartości.

Jak to robimy

  1. Filtrujemy w crawlu wszystkie strony z dyrektywami ograniczającymi indeksację.
  2. Sprawdzamy nagłówki HTTP, bo X-Robots-Tag nie jest widoczny w kodzie strony.
  3. Dzielimy strony na te, które mają być w indeksie, i te, które słusznie z niego wyłączamy.
  4. Przygotowujemy dla programisty listę zmian i sprawdzamy ją po wdrożeniu.

Co otrzymujesz

Otrzymujesz listę stron z poprawionymi dyrektywami robotów i opisem każdej zmiany. Ważne podstrony wracają do indeksu, a strony techniczne nie zaśmiecają wyników.

Kiedy i w jakiej formie: Start + miesięcznie

  • Screaming Frog
  • Sitebulb
D-065P1 · krytyczne

XML sitemap

Porządkujemy mapę witryny XML tak, żeby zawierała wyłącznie kanoniczne, indeksowalne adresy zwracające kod 200. Dzielimy ją na typy treści i dbamy o prawdziwe daty lastmod, czyli ostatniej zmiany strony.

Jak to robimy

  1. Porównujemy adresy z mapy z wynikami crawla i usuwamy przekierowania, błędy 404 i strony noindex.
  2. Eliminujemy duplikaty oraz adresy z parametrami, które nie powinny trafić do indeksu.
  3. Dzielimy mapę na osobne pliki, np. dla stron usług, wpisów blogowych i produktów.
  4. Sprawdzamy, czy data lastmod zmienia się tylko przy faktycznej aktualizacji treści.

Co otrzymujesz

Dostajesz uporządkowaną mapę witryny z podziałem na typy treści, zgłoszoną w Search Console. Google otrzymuje czysty sygnał, które strony serwisu mają trafić do indeksu.

Kiedy i w jakiej formie: Start + automatyczny monitoring

  • Screaming Frog
  • Google Search Console
D-066P2 · ważne

HTML sitemap / mapy sekcji

W dużych serwisach tworzymy czytelne mapy sekcji w HTML, np. listy kategorii, poradników lub lokalizacji. Pomagają one użytkownikom i robotom dotrzeć do stron położonych głęboko w strukturze.

Jak to robimy

  1. Wskazujemy sekcje, w których strony są zbyt daleko od strony głównej lub słabo podlinkowane.
  2. Projektujemy układ mapy z podziałem na kategorie i opisowymi nazwami linków.
  3. Dodajemy link do mapy w stopce lub menu, żeby była dostępna z każdej strony.
  4. Po wdrożeniu sprawdzamy w crawlu, czy głębokość kliknięć dla tych stron się zmniejszyła.

Co otrzymujesz

Otrzymujesz mapę sekcji w HTML, która skraca drogę do głęboko położonych stron. Użytkownik łatwiej znajduje treść, a robot szybciej odkrywa nowe podstrony.

Kiedy i w jakiej formie: Jednorazowo + aktualizacja

  • Screaming Frog
D-067P1 · krytyczne

Statusy HTTP

Naprawiamy błędne kody odpowiedzi serwera: błędy 5xx, linki do stron 404, soft 404, niewłaściwe przekierowania 302 i strony błędów zwracające kod 200. Każdy typ problemu przypisujemy do osoby, która odpowiada za jego wdrożenie.

Jak to robimy

  1. Zbieramy z crawla i GSC wszystkie adresy z nieprawidłowym kodem odpowiedzi.
  2. Oddzielamy problemy serwera, np. 5xx, od błędów treści i linkowania, np. 404.
  3. Zamieniamy tymczasowe przekierowania 302 na stałe 301 tam, gdzie zmiana adresu jest trwała.
  4. Sprawdzamy, czy nieistniejące strony zwracają 404, a zasoby nie mieszają protokołów HTTP i HTTPS.

Co otrzymujesz

Dostajesz listę błędów HTTP z właścicielem każdej poprawki i terminem weryfikacji. Po wdrożeniu roboty i użytkownicy dostają prawidłowe odpowiedzi serwera.

Kiedy i w jakiej formie: Tygodniowo/miesięcznie

  • Screaming Frog
  • Google Search Console
D-068P1 · krytyczne

Łańcuchy i pętle przekierowań

Skracamy łańcuchy przekierowań do jednego skoku 301 i usuwamy pętle, w których adresy przekierowują się nawzajem. Każdy dodatkowy skok spowalnia stronę i utrudnia robotom dotarcie do celu.

Jak to robimy

  1. Wyszukujemy w crawlu łańcuchy i pętle przekierowań wraz z ich pełną ścieżką.
  2. Ustawiamy przekierowanie z pierwszego adresu bezpośrednio na stronę docelową.
  3. Podmieniamy linki wewnętrzne prowadzące do starych adresów na aktualne.
  4. Testujemy warianty http i https, z www i bez oraz z ukośnikiem na końcu i bez niego.

Co otrzymujesz

Otrzymujesz poprawioną mapę przekierowań, w której każdy stary adres prowadzi do celu jednym skokiem. Cały serwis działa pod jedną, spójną wersją adresów.

Kiedy i w jakiej formie: Start + po migracjach

  • Screaming Frog
  • Sitebulb
D-069P1 · krytyczne

Kanonikalizacja

Weryfikujemy tagi rel=canonical, które wskazują Google, która wersja powielonej strony jest główna. Kontrolujemy je na stronach z parametrami, wariantach produktów, paginacji, filtrach, sortowaniach i wersjach do druku.

Jak to robimy

  1. Zbieramy canonicale z całego serwisu i porównujemy je z adresami stron.
  2. Sprawdzamy, czy adresy z parametrami UTM, sortowaniem lub filtrem wskazują wersję podstawową.
  3. Ustalamy zasady dla wariantów produktów i paginacji zgodne z tym, co ma trafiać do indeksu.
  4. Wyszukujemy duplikaty tworzone automatycznie przez CMS i nadajemy im właściwy canonical.

Co otrzymujesz

Dostajesz zasady kanonikalizacji dla każdego typu strony oraz listę poprawek. Sygnały rankingowe skupiają się na jednej wersji każdej treści.

Kiedy i w jakiej formie: Start + po zmianach szablonów

  • Screaming Frog
  • Sitebulb
  • Google Search Console
D-070P1 · krytyczne

Duplikacja treści i URL-i

Usuwamy albo scalamy duplikaty, które powstają przez tagi, archiwa, załączniki, filtry, parametry i wewnętrzną wyszukiwarkę. Dotyczy to też identycznych opisów produktów i powtórzonych treści w wersjach językowych.

Jak to robimy

  1. Wykrywamy duplikaty po treści, tytułach i nagłówkach oraz po wzorcach adresów.
  2. Dla każdej grupy wybieramy stronę główną, a pozostałe łączymy, przekierowujemy lub wyłączamy z indeksu.
  3. Wskazujemy produkty z kopiowanymi opisami producenta, które wymagają własnych tekstów.
  4. Sprawdzamy wersje językowe, w których treść nie została przetłumaczona.

Co otrzymujesz

Otrzymujesz plan konsolidacji duplikatów z decyzją dla każdego adresu. W indeksie zostaje jedna wartościowa wersja każdej treści.

Kiedy i w jakiej formie: Start + miesięcznie

  • Screaming Frog
  • Sitebulb
  • Semrush
D-071P1 · krytyczne

Porządkowanie śmieciowych URL-i w WordPress

W serwisach na WordPressie ograniczamy indeksowanie adresów tworzonych automatycznie: tagów, archiwów autorów i dat, stron załączników, wyników wyszukiwania i feedów. W indeksie zostawiamy tylko sekcje, które mają realną wartość dla użytkownika.

Jak to robimy

  1. Sprawdzamy, ile adresów generuje każda sekcja i ile z nich ma ruch z wyszukiwarki.
  2. Ustawiamy noindex dla archiwów bez wartości i przekierowujemy strony załączników do plików lub wpisów.
  3. Blokujemy indeksowanie wyników wewnętrznej wyszukiwarki oraz zbędnych parametrów.
  4. Usuwamy te adresy z mapy witryny i sprawdzamy ustawienia wtyczki SEO.

Co otrzymujesz

Dostajesz odchudzony indeks bez automatycznych stron niskiej jakości. Roboty poświęcają więcej czasu na wpisy, strony usług i produkty.

Kiedy i w jakiej formie: Start + po zmianach CMS

  • WordPress
  • Screaming Frog
  • Google Search Console
D-072P1 · krytyczne

Strony osierocone

Szukamy stron osieroconych, czyli takich, do których nie prowadzi żaden link wewnętrzny. Łączymy w tym celu dane z crawla, Search Console, GA4, logów serwera i map witryny.

Jak to robimy

  1. Porównujemy adresy z mapy witryny, GSC i GA4 z adresami znalezionymi w crawlu.
  2. Oceniamy każdą osieroconą stronę pod kątem ruchu, linków zewnętrznych i aktualności.
  3. Ważne strony podlinkowujemy z pasujących kategorii i artykułów.
  4. Zbędne strony aktualizujemy, scalamy z innymi, przekierowujemy albo usuwamy.

Co otrzymujesz

Otrzymujesz listę stron osieroconych z decyzją dla każdej z nich. Wartościowe treści wracają do struktury serwisu i mogą znów zbierać ruch.

Kiedy i w jakiej formie: Miesięcznie/kwartalnie

  • Screaming Frog
  • Google Search Console
  • Google Analytics 4

Które z tych działań są potrzebne Twojej firmie?

Zamów bezpłatny audyt. Sprawdzimy Twój serwis i wskażemy, od czego zacząć.

Współpraca, która napędza sukces

Zadzwoń