Robots.txt i noindex: dwie różne decyzje dla SEO

Robots.txt nie jest przyciskiem „usuń z Google”. Informuje obsługujące go roboty, jakie adresy mogą pobierać. Jeśli chcesz wykluczyć publiczną stronę z indeksu, potrzebujesz innego mechanizmu. Pomylenie tych zadań może przynieść efekt przeciwny do zamierzonego.

Dostęp i indeksowanie to dwa etapy

Robot najpierw musi pobrać stronę, aby poznać jej zawartość i dyrektywy. Zablokowany adres może nadal pojawić się w wynikach, na przykład na podstawie odnośników prowadzących do niego. Blokada pobierania nie gwarantuje usunięcia adresu z wyszukiwarki.

Dyrektywa noindex w znaczniku meta lub nagłówku HTTP dotyczy indeksacji. Aby Google ją odczytał, strona nie może być jednocześnie niedostępna dla robota. Nie dodawaj więc blokady robots.txt jako drugiej warstwy do strony, z której robot ma odczytać noindex.

Dobierz rozwiązanie do problemu

Dla publicznej strony podziękowania możesz rozważyć noindex. Dla prywatnych dokumentów zastosuj kontrolę dostępu — robots.txt nie chroni danych. Dla powielonych wariantów adresu przeanalizuj adres kanoniczny, parametry i linkowanie, zamiast automatycznie blokować wszystkie warianty.

Nie kopiuj gotowego pliku z innej strony. Sklep, serwis treściowy i prosta wizytówka mają inne ścieżki. Zablokowanie katalogu zawierającego potrzebne skrypty lub obrazy może utrudnić robotowi prawidłowe odczytanie strony.

Sprawdź zmianę na konkretnych adresach

Zrób listę reprezentatywnych URL-i: stronę główną, usługę, wpis, produkt i stronę techniczną. Zapisz oczekiwany rezultat dla każdego. Po wdrożeniu sprawdź odpowiedź serwera, dostępność zasobów oraz inspekcję adresu w Search Console.

Przykład: po przeniesieniu strony ze środowiska testowego pozostała reguła blokująca cały serwis. Poprawny wygląd w przeglądarce nie ujawnia tego problemu. Dlatego kontrola indeksacji powinna być częścią odbioru wdrożenia.

Nie traktuj pliku jako sztuczki rankingowej

Robots.txt nie podnosi samodzielnie pozycji i nie zastępuje sensownej architektury informacji. W małym serwisie większy wpływ na użyteczność mają często dobre treści, działające linki i czytelna oferta.

Zmiany techniczne dokumentuj i wdrażaj po sprawdzeniu skutków. Po naprawie obserwuj ponowne przetworzenie adresów; rezultat w wyszukiwarce nie musi pojawić się od razu.

Opracowanie: BlackMewa · Aktualizacja: 5 października 2026.