Na etapie tworzenia strony internetowej możesz zetknąć się z pojęciem „pliku robots.txt”. Jest on doskonale znany wszystkim webmasterom. To właśnie za jego pomocą możliwe staje się zarządzanie ruchem robotów indeksujących na stronie. Jeśli zlecasz tworzenie witryny profesjonalnej firmie, nie musisz wprawdzie zaprzątać sobie nim głowy. Mimo to warto wiedzieć, za co odpowiada ten rodzaj pliku.
Czym jest plik robots.txt i jaka jest jego rola?
Plik robots.txt to plik tekstowy powszechnie używany przez osoby tworzące strony internetowe, który służy informowaniu robotów wyszukiwarek, takich jak Googlebot i Bingbot, o tym, które strony i katalogi w witrynie nie powinny być indeksowane, a które już tak. Plik ten znajduje się w katalogu głównym witryny internetowej, przez co jest łatwo dostępny dla każdego.
Zadaniem robots.txt jest tym samym wskazywanie robotom, po jakich adresach URL mogą się one poruszać, tj. gdzie uzyskają dostęp, a które z podstron powinny ignorować. W ten sposób zabezpiecza się strony internetowe przed ich przeciążeniami wynikającymi z przesyłania zbyt wielu żądań. Jest to istotne w szczególności w odniesieniu do rozbudowanych witryn. Robots.txt można wykorzystać nie tylko do wykluczenia wybranych podstron internetowych, ale i innego rodzaju zasobów, m.in. plików multimedialnych (graficznych, dźwiękowych, czy wideo).
Co istotne, robots.txt nie jest narzędziem, które ukryje całkowicie Twoją stronę w wyszukiwarce i sprawi, że będzie ona niedostępna dla użytkowników. Jeżeli nie chcesz jej indeksować, użyj tagu noindex. Jedną z możliwości ograniczenia dostępu do witryny jest także zabezpieczenie jej hasłem.
Kiedy warto stosować plik robots.txt?
Plikiem robots.txt obejmuje się najczęściej strony lub pliki o niskiej wartości dla robotów wyszukiwarek, rankingów, czy optymalizacji ruchu. Regulaminy sklepów, polityka prywatności, panel klienta, wyszukiwarki dostępne w obrębie stron – to jedne z elementów, które mogą zostać wykluczone dla robotów w pliku robots.txt. Listę tę można rozszerzyć także o zduplikowane lub bardzo do siebie zbliżone adresy URL.
O czym pamiętać podczas tworzenia pliku robots.txt?
Aby plik robots.txt był skuteczny, ważne jest, aby został właściwie sformatowany i zawierał poprawne polecenia. Mowa tu przede wszystkim o dyrektywie Allow (dopuszczająca) i Disallow (blokująca). Jeśli kwestie te nie zostaną wykonane w odpowiedni sposób, więc roboty wyszukiwarek mogą nie być w stanie zrozumieć poleceń i założą, że wszystkie strony i katalogi w witrynie są dostępne i indeksowane.
Sprawdź również, z jakimi ograniczeniami dla robots.txt możesz się zetknąć.
Podsumowując, dobrą praktykę uznaje się tworzenie pliku robots.txt także wtedy, gdy nie zamierzamy wykluczać żadnej ze stron w obrębie witryny ani też żadnego innego pliku, zasobu. W przypadku jego braku roboty mogą uznać, że wszystkie strony i katalogi są w takim razie dostępne. Obecność robots.txt ma w dodatku znaczenie dla SEO.
Może zainteresować Cię ponadto nasz ostatni artykuł: Porzucony koszyk w sklepie internetowym – co dalej?