Czym jest i jak działa Crawl Budget?

Crawl budget (budżet crawl lub żądań serwerowych) to po prostu ilość mocy serwerowych, które wyszukiwarka Google poświęca Twojej witrynie. Dla działań SEO, ale też PPC, to bardzo ważny aspekt, który zignorowany może całkowicie wyeliminować szanse na widoczność w Google.

Jak działa Crawl Budget?

Google to sieć serwerów, które nieustannie odpytują internet w poszukiwaniu danych. Każde odpytanie to request (żądanie), czyli jednorazowa komunikacja dwóch serwerów (Google i Twojego). Jak można się domyśleć, tych requestów jest trilliony dziennie w skali globalnego internetu. To gigantyczne ilości, którymi Google musi zarządzać.

Google nie ma nieskończonych mocy, więc musi sprawnie zarządzać swoimi zasobami. Przy tak dużej skali, każda najmniejsza nieścisłość czy brak optymalizacji to gigantyczne koszty dla wyszukiwarki. Stąd crawl budget jest krytyczny zarówno dla Google, jak i dla Ciebie.

Jak liczony jest Crawl Budget?

Każda witryna dostaje zasób requestów, który zmienia się zależnie od czynników takich jak:

• czas reakcji Twojego serwera
• autorytet Twojej domeny
• błędy Twojej domeny
• ilość adresów URL w Twojej domenie do odpytania
• ilość linków zewnętrznych i wewnętrznych prowadzących do Twoich adresów URL
• oraz oczywiście możliwości Google, ich strategii i priorytetów.

Ostatecznie nie da się określić, jak duży budżet requestów Google Ci udostępni, dlatego warto zakładać, że tych requestów zawsze może być więcej.

Jak ważny jest budżet crawl?

Jeśli zależy ci na ruchu organicznym, to crawl budżet powinien być Twoim pierwszym KPI, niezależnie od pozostałych.

To wynika z prostej prawdy, że jeśli Google nie zobaczy Twoich stron, to nie ma znaczenia, co z nimi robisz. Możesz je optymalizować w nieskończoność, dodawać treści i linkować, ale jeśli serwery Google ich nie odpytają, nic z tego nie zostanie uwzględnione w wynikach wyszukiwania.

Innymi słowy, w SEO masz dwie grupy KPI: techniczne (w tym crawl budget) i biznesowe (jak np. ilość fraz w wynikach, ich średnia pozycja, sesje, CTR czy przychód).

Obie grupy są potrzebne, by osiągnąć sukces, natomiast brak realizacji niektórych technicznych KPI zablokuje całkowicie realizację tych drugich. Do tych blokujących zalicza się crawl budżet, jeśli będzie znikomy lub marnowany na bezużyteczne zasoby.

Oczywiście, im większy serwis, tym ważniejszy jest crawl budget. Dla małych stron, nawet duża ilość problemów nie powinna stanowić blokady dla widoczności.

Crawl budżet w reklamach PPC

Crawl budżet jest też istotny dla działań płatnych w Google. Ten sam bot Google (i kilka innych) musi odwiedzić Twoją stronę, by zaakceptować kampanie reklamowe.

Jak pracować z crawl budżetem Google?

Zarządzanie budżetem requestów to techniczny aspekt SEO i wymaga specjalnych umiejętności oraz narzędzi, szczególnie w serwisach z dużą ilością stron i wykorzystujących np. filtrowanie wyników czy inny mechanizm generujący dużą ilość adresów URL.

Podstawowym źródłem informacji o budżecie crawl jest GSC oraz logi serwerowe.

Google dostarcza raport, w którym dowiesz się ile zapytań (żądań) zostało wykonanych, ile danych zostało pobranych łącznie i jak szybko odpowiada Twój serwer.

Relacja czasu odpowiedzi do ilości żądań jest bardzo przejrzysta. Im dłużej serwer odpowiada, tym mniej żądań zrealizuje, a że nie wiesz, gdzie jest sufit tych żądań, to zawsze warto poprawiać wskaźniki optymalizacji serwerów.

Zasady pracy z budżetem żądań Google

Tak jak wspomniałem, jest to temat mocno techniczny, dlatego poniżej przedstawiam tylko kluczowe zasady i cele pracy z crawl budżetem z perspektywy biznesowej.

Google musi mieć dostęp do zasobów

dlatego serwer musi pozwalać na requesty botów Google. Tutaj uwaga na blokowanie ruchu po IP, user-agentach czy geolokalizacji lub na poziomie dynamicznego ładowania treści.

Google odpytuje wszystko, co znajdzie

dlatego bardzo ważne jest zarządzanie strukturą adresów URL, ich linkowaniem wewnętrznym i dyrektywami dla Google, by nie wskazywać botom studni zbędnych stron do odpytywania.

Google potrzebuje strategii dla budżetu requestów

I to ty ją wyznaczasz poprzez linkowanie wewnętrzne, dyrektywy i sitemapy. Musisz uwzględnić to, które strony są dla Ciebie najważniejsze, i jak często powinny być odwiedzane. Jeśli dysponujesz dużą ofertą produktową, musisz tę strategię zbudować.

Budżet crawl wykorzystujesz do komunikowania zmian

dlatego, jeśli dokonujesz np. zmian struktury kategorii i tworzysz sieć przekierowań, budżet musi pójść na ich odnotowanie. Tak samo, jeśli kasujesz spam ze strony, musisz upewnić się, że Google odnotował wszystkie 404.

To sprawdzisz poprzez logi serwerowe. Ich zbieranie jest niezbędne w pracy przy dużych serwisach.

Performance (szybkość strony) ma duży wpływ na crawl budget

Czas ładowania Twojej witryny wpływa zarówno na ogólną ocenę jakości stron, ale też na to, jak szybko Google będzie pobierał dane. Stąd sprawny serwer, zoptymalizowany kod i poprawna ścieżka renderingu są często bardzo wysoko na liście zadań SEO.

Crawl budget

W działaniach SEO techniczne aspekty stają się krytyczne, gdy chcemy, by Google dobrze wyświetlał nasz serwis. Musisz pamiętać, że Google ma swój cel i często nie poświęca zasobów na coś, co uzna za nieprzydatne, a im więcej mamy stron, tym trudniej o dobrą komunikację, korzystną dla obu stron.

Rolą SEO jest więc mediacja i negocjacja zasobów między Twoją stroną, a Google.