Precyzyjna szybkość indeksowania od Google.
W narzędziach Google dla webmasterów pojawiła się możliwość precyzyjnego określenia szybkości indeksowania witryny, tak by autor strony mógł kontrolować ew. obciążenie serwerów przez roboty indeksujące przedstawiające się jako Googlebot.
Mamy możliwość określenia ilości zapytań na sekundę jak i odstępu pomiędzy kolejnymi wizytami.
Min ustawienia to 0,001 żądań na sekundę i 1000 sekund odstępu pomiędzy kolejnymi wizytami.
Max ustawienia to 0,5 żądań na sekundę i 2 sekundy odstępu pomiędzy kolejnymi wizytami.
Co daje nam w wypadku max ustawień 1 wizytę Google bota na 3 sekundy.
W ciągu doby maksymalna ilość odwiedzin (86400 sek.) robotów Google, może wynieść 28800 podstron. Pełny reindeks dużego serwisu np. 5 mln podstron wyniesie 173 dni jeżeli założymy, że podstrony zostaną reindeksowane tylko jeden raz.
Biorąc jednak standardowy serwis, który posiada 200 tyś podstron to pełny reindeks zajmie Google 7 dni. Zakładając jednak, że 30-40% serwisu będzie w tym okresie częściej reindeksowana to pełny reindeks mógłby zając 10 dni.
Oczywiście to wszystko przy założeniach, że serwer wytrzyma taką ilość zapytań i Google bot faktycznie na naszej stronie będzie co 3 sekundy.
Hej!
Ustawiłem w narzędziach takie wartości jak wyżej na screenie i robocik gości na stronie praktycznie non-stop z przerwami od 2 sek. do max. 2 minut.
Fajnie to działa i sprawdza się wyśmienicie!
Na taką opcję właśnie czekałem - i pewnie nie tylko ja
Pozdrawiam
Staszek
No narzędzie fajne tylko gdy podkręcam indeksowanie na full to wartość wyniki mojej strony są słabsze w page rank na słowa kluczowe Noclegi w Bieszczadach.