Robots.txt nie jest przyciskiem „usuń z Google”. Informuje obsługujące go roboty, jakie adresy mogą pobierać. Jeśli chcesz wykluczyć publiczną stronę z indeksu, potrzebujesz innego mechanizmu. Pomylenie tych zadań może przynieść efekt przeciwny do zamierzonego.
Dostęp i indeksowanie to dwa etapy
Robot najpierw musi pobrać stronę, aby poznać jej zawartość i dyrektywy. Zablokowany adres może nadal pojawić się w wynikach, na przykład na podstawie odnośników prowadzących do niego. Blokada pobierania nie gwarantuje usunięcia adresu z wyszukiwarki.
Dyrektywa noindex w znaczniku meta lub nagłówku HTTP dotyczy indeksacji. Aby Google ją odczytał, strona nie może być jednocześnie niedostępna dla robota. Nie dodawaj więc blokady robots.txt jako drugiej warstwy do strony, z której robot ma odczytać noindex.
Dobierz rozwiązanie do problemu
Dla publicznej strony podziękowania możesz rozważyć noindex. Dla prywatnych dokumentów zastosuj kontrolę dostępu — robots.txt nie chroni danych. Dla powielonych wariantów adresu przeanalizuj adres kanoniczny, parametry i linkowanie, zamiast automatycznie blokować wszystkie warianty.
Nie kopiuj gotowego pliku z innej strony. Sklep, serwis treściowy i prosta wizytówka mają inne ścieżki. Zablokowanie katalogu zawierającego potrzebne skrypty lub obrazy może utrudnić robotowi prawidłowe odczytanie strony.
Sprawdź zmianę na konkretnych adresach
Zrób listę reprezentatywnych URL-i: stronę główną, usługę, wpis, produkt i stronę techniczną. Zapisz oczekiwany rezultat dla każdego. Po wdrożeniu sprawdź odpowiedź serwera, dostępność zasobów oraz inspekcję adresu w Search Console.
Przykład: po przeniesieniu strony ze środowiska testowego pozostała reguła blokująca cały serwis. Poprawny wygląd w przeglądarce nie ujawnia tego problemu. Dlatego kontrola indeksacji powinna być częścią odbioru wdrożenia.
Nie traktuj pliku jako sztuczki rankingowej
Robots.txt nie podnosi samodzielnie pozycji i nie zastępuje sensownej architektury informacji. W małym serwisie większy wpływ na użyteczność mają często dobre treści, działające linki i czytelna oferta.
Zmiany techniczne dokumentuj i wdrażaj po sprawdzeniu skutków. Po naprawie obserwuj ponowne przetworzenie adresów; rezultat w wyszukiwarce nie musi pojawić się od razu.
Opracowanie: BlackMewa · Aktualizacja: 5 października 2026.
