Podstawy dyrektyw dla botów w SEO
Zanim zaczniesz przygodę z optymalizacją stron, musisz poznać dyrektywy dla botów Google. To dzięki nim określisz, które strony mają znaleźć się w indeksie, a których lepiej, żeby Google nie wyświetlał publicznie.
Tu zaczyna się techniczne SEO!
Co to są dyrektywy dla botów?
Dyrektywy to proste komendy, które boty Google uznają i przestrzegają. Dzięki nim m.in. zabronisz botom indeksacji konkretnych stron.
Dyrektywy mogą być umieszczone:
- w pliku robots.txt dodanym do głównego katalogu witryny,
- w meta danych każdej strony,
- w nagłówku HTTP X-Robots-Tag (rzadko stosowane)
Dyrektywy w robots.txt
Dyrektywy możesz stosować do pojedynczych stron, albo do całej grupy stron wykorzystując wyrażenia regularne.
Dla przykładu, na moim blogu mogę zastosować dyrektywę:
- disallow: /kategoria/rozgrzewka/ – co zablokuje dostęp botom do tej konkretnej strony
lub - disallow: /kategoria/* – co zablokuje dostęp botom do wszystkich kategorii. Gwiazdka oznacza dowolny ciąg dalszy.
W pliku robots.txt musimy określić konkretne boty, których dyrektywa dotyczy.
Jeśli komenda dotyczy wszystkich, wstawiamy przed nią:
User-agent: *
Jeśli dyrektywa dotyczy tylko Google:
User-agent: Googlebot
Przykład dyrektyw w robots.txt
Dyrektywy w meta danych
Dyrektywy w meta danych dotyczą zawsze tylko tej konkretnej strony, na której występują, a znajdziesz je w kodzie w sekcji nagłówka <head>.
Dyrektywy mogą wyglądać tak: <meta name=”robots” content=”noindex” />.
Więcej o meta danych przeczytasz tu:
Jakie są dyrektywy dla botów
Z punktu widzenia SEO najważniejsze dyrektywy to allow, index i follow.
Allow i disallow
Takie komendy można zastosować w pliku robots.txt. Oznaczają one pozwolenie lub zakaz dostępu do konkretnych stron lub plików dla botów. Powtórzę – złośliwe boty mogą taki zakaz ignorować.
Tę dyrektywę stosuje się rzadko, bo często kłóci się z dyrektywami index i noindex.
Index i noindex
To kluczowe dyrektywy, które bezwzględnie mogą wykluczyć stronę z indeksu Google. Należy je stosować bardzo ostrożnie, zwłaszcza w pliku robots.txt. Jedna zła litera, źle napisane wyrażenie regularne i można wykasować sobie cały ruch organiczny!
Te dyrektywy można stosować zarówno w pliku robots.txt, jak i w danych meta strony.
Zapis w pliku robots.txt
noindex: /kategoria/rozgrzewka/
Dyrektywa w meta robots
meta name=”robots” content=”noindex”
Oba zapisy będą miały identyczny efekt – strona nie znajdzie się w wynikach wyszukiwarki Google.
Google zawsze domyślnie przyjmuje dyrektywę index, więc jeśli chcemy, by indeksował nasze strony, nie musimy w ogóle dawać żadnych dyrektyw.
Tester pliku robots.txt
Google oferuje narzędzie do kontroli pliku robots.txt. Znajdziesz je w panelu Search Console. Dzięki niemu wykryjesz błędy i sprawdzisz, czy reguły wykluczają konkretną stronę.
Follow i nofollow
Te dyrektywy mówią botom, czy mogą podążać za konkretnym linkiem lub też wszystkimi linkami na stronie. To nie oznacza, że bot nie wejdzie na stronę, która została podlinkowana. Może to zrobić, ale nie weźmie tego linku pod uwagę przy ustalaniu rankingu dla docelowej strony.
Ta dyrektywa dotyczy stricte SEO i tematu link-buildingu. Zobacz:
Wprowadzenie do link-buildingu
Dyrektywa nofollow dodana do linka będzie oznaczała, że Google nie przekaże „mocy” ze strony linkującej do linkowanej. Tę dyrektywę można stosować przy konkretnym linku, dodając do niego znacznik:
<a href=”https://samodzielny-marketing.pl” rel=”nofollow”>
Można ją też zastosować w meta danych strony, by zablokować przepływ „mocy” wszystkich wychodzących linków. Taka kombinacja jest raczej nie stosowana.
<meta name=”robots” content=”noindex, nofollow” />
W tym przypadku boty Google też domyślnie przyjmują wartość follow dla wszystkich linków.
Wskazówki dla botów
Poza dyrektywami istnieją też wskazówki dla botów, czyli komunikaty, które boty Google czytają i traktują, jako sugestię. To, czy zignorują je, czy zastosują zależy tylko od nich.
Najważniejszą wskazówką w SEO jest kanoniczność stron wskazywana za pomocą linka w źródle strony.
Link kanoniczny
<link rel=”canonical” href=”https://samodzielny-marketing.pl/” />
Tego linku użytkownik nie klika (nie widać go), a służy on do wskazywania stron, które zawierają oryginalną treść. Jeśli Strona jest oryginalna, zawiera link do samej siebie. Jeśli duplikuje inną stronę – link wskazuje stronę źródłową.
Taka sytuacja występuje, gdy np. sortujesz po cenie listę produktów w sklepie. To nadal jest ta sama lista, produkty się nie zmieniają, tylko są inaczej poukładane. W takiej sytuacji nie ma sensu indeksować każdej możliwej wariacji tej samej strony.
Do tego właśnie służy link kanoniczny. Wskazując źródło treści, pomaga botom Google indeksować i wyświetlać w wynikach tylko wartościowe strony. Jednak ostateczna decyzja, jak potraktować tę wskazówkę, należy do botów Google.
Dlaczego dyrektywy i wskazówki dla botów są ważne?
W przypadku małej witryny boty nie mają problemów ze zrozumieniem jej zawartości. Jednak, gdy strona jest większa i ma mnóstwo adresów, paginację wyników, sortowanie, filtrowanie, to staje się studnią bez dna dla botów.
Poprzez dyrektywy i wskazówki budujemy jasną strukturę witryny, a to ułatwi robotom Google pracę i przyśpieszy dobre wyniki w wyszukiwarce.
Dobre praktyki w dyrektywach dla botów
Na koniec kilka istotnych faktów i sugestii.
- Nie powinno się mieszać dyrektyw disallow i noindex – wzajemnie się wykluczają!
- Poza tym dyrektywy można łączyć.
- Jeśli koniecznie nie chcesz, by Google znalazł jakąś Twoją stronę, nie linkuj jej! Boty znajdują treści po znacznikach <a href>. Jeśli nigdzie nie umieścisz linka do danej strony, bot jej nie znajdzie.
- Jeśli nie wiesz jak stosować dyrektywy, nie stosuj ich. Lepszy jest brak dyrektyw, niż ich nieumiejętne stosowanie.
- Plik robots.txt nie jest wymagany na stronie. Możesz go nie mieć.
- Google domyślnie przyjmuje wartości index i follow.
- Robot to tylko hasło obrazujące proces odpytywania jednego serwera przez drugi za pomocą odpowiednich programów. Żadne maszyny fizycznie nie „chodzą” po Twojej stronie. :-)
Podsumowanie
Jeśli korzystasz z WordPressa, to dyrektywy dla botów możesz kontrolować za pomocą wtyczki, np. Yoast lub All in One SEO Pack. Wszystkie CMSy dają jakąś kontrolę nad dyrektywami i z reguły domyślne ustawienia nie są złe.
Jeśli jednak planujesz postawić na SEO i rozbudowywać stronę, zadbaj o poprawne dyrektywy już na etapie tworzenia witryny!
O dyrektywach i botach jest jeszcze wiele do napisania i na potrzeby Samodzielnego Marketingu będę do tematu wracał.
Zostaw komentarz