När Googlebot hämtar en sida, slakt det alla länkar som visas på sidan och lägger till dem till en kö för efterföljande genomsökning. Googlebot tenderar att stöta på lite spam eftersom de flesta webb författare länkar bara vad de tror är hög kvalitet sidor. Genom att skörda länkar från varje sida den stöter på, kan Googlebot snabbt bygga en lista med länkar som kan täcka stora delarna av banan. Denna teknik, som kallas djup genomsökning, kan också Googlebot att sondera djupt inom enskilda webbplatser. På grund av deras stor skala, kan djupa genomsökningar nå nästan varje sida i banan.
Eftersom banan är stor, kan det ta lite tid, så vissa sidor kan genomsökas endast en gång i månaden. Även om dess funktion är enkel, måste Googlebot programmeras för att hantera flera utmaningar. Först, eftersom Googlebot skickar ut samtidiga förfrågningar om tusentals sidor, kön av "besök snart" URL: er måste ständigt granskas och jämföras med webbadresser som redan finns i Googles index. Dubbletter i kön måste elimineras för att förhindra att Googlebot från att hämta samma sida igen. Googlebot måste bestämma hur ofta att återkomma en sida.
Å ena sidan är det ett slöseri med resurser att åter index oförändrad sida. Å andra sidan, Google vill indexera ändrade sidor för att leverera up-to-date resultat. För att hålla index strömmen, Google recrawls ständigt populära ofta förändras webbsidor med en hastighet ungefär proportionell mot hur ofta sidorna förändras. Sådana genomsökningar hålla ett index aktuell och kallas färska genomsökningar. Tidningssidor hämtas dagligen, är sidor med aktiekurser hämtat mycket oftare. Naturligtvis, färska kryper tillbaka färre sidor än den djupa genomsökningen.
Kombinationen av de två typerna av kryper gör att Google kan både att effektivt utnyttja sina resurser och hålla sitt index någorlunda aktuell. 2. Googles Indexer Googlebot ger indexeraren den fullständiga texten på sidorna den hittar. Dessa sidor lagras i Googles index databas. Detta index sor