Co oznacza pojęcie googlebot?

Googlebot to inaczej tak zwany robot internetowy, który jest stworzony i  używany przez firmę Google. Przechodząc przez gąszcz stron internetowych poprzez linki (czyli odnośników), robot googlebot indeksuje je i jednocześnie tworzy indeks dla wyszukiwarki Google.
Jeśli webmaster (osoba zajmująca się tworzeniem stron internetowych) będzie chciał, by informacje na jego stronie nie były dostępne dla Googlebota lub innego robota internetowego, może zakazać wejścia na wyznaczone strony poprzez odpowiednie wpisy w pliku robots.txt. W taki sposób można manipulować indexem Google po stronie naszej witryny.
Robot Googlebot działa w dwóch wersjach; generuje tak zwany deep crawl oraz fresh crawl. Deep crawl czyli pełzanie głębokie. Ma za zadanie przechodzenie na każdy link jaki znajdzie na "oglądanych" przez siebie stronach i dodanie tylu, ile może, do indeksu. Ten proces jest kończony i powtarzany co około miesiąc. W trybie Fresh crawl przemierza sieć i odwiedza strony zmieniające się często. Jest to zależne od czasów aktualizowania strony. Inaczej mówiąc im witryna jest częściej aktualizowana tym lepiej, bo roboty Google częściej ją odwiedzają.
Googlebot przegląda strony korzystając ze wszystkich linków, jakie znajdzie na każdej wcześniej odwiedzonej przez siebie stronie. Nowe strony muszą posiadać linki już od innej – dawniej stworzonej i indeksowanej. Poziom i PageRank strony pierwotnej (na której bot znalazł linka do naszej) ma również istotne znaczenie. Najlepiej jak będą linki zamieszczane przez znane już strony, często aktualizowane.
Z zagadnieniem Googlebot ściśle związane jest także zagadnienie User Agent Cloaking.
Na podstawie identyfikacji pola User_Agent Cloaking jest jedną z najprostszych wersji stosowanych na stronach internetowych. User_Agent to po prostu informacje, które przestawiają daną stronę. Dane te są zapisywane w logu serwera. Stronę możemy przedstawić np. za pomocą najbardziej znanego skryptowego języka programowania PHP. Niezbędna do tego celu okaże się wiedza o sposobie przedstawienia się robota, czyli właśnie Googlebot’a.