Når Googlebot henter en side, culls den alle lenker som vises på siden, og legger dem til en kø for senere gjennomgang. Googlebot tendens til å støte litt spam fordi de fleste web forfattere lenker bare til det de mener er av høy kvalitet sider. Ved høsting lenker fra hver side den støter på, kan Googlebot raskt bygge en liste over linker som kan dekke brede delene av nettet. Denne teknikken, som kalles dyp gjennomgang, også lar Googlebot å sondere dypt i enkelte områder. På grunn av sin massive skala, kan dype kryper nå nesten hver eneste side i nettet.
Fordi nettet er stort, kan dette ta litt tid, så noen sider kan bli gjennomgått kun en gang i måneden. Selv om dens funksjon er enkel, må Googlebot være programmert til å håndtere flere utfordringer. Først, siden Googlebot sender ut samtidige forespørsler om tusenvis av sider, i køen av "besøk snart" webadresser må være konstant undersøkes og sammenlignes med nettadresser som allerede finnes i Google-indeksen. Duplikater i køen må elimineres for å hindre Googlebot fra å hente den samme siden igjen. Googlebot må bestemme hvor ofte å besøke en side.
På den ene siden er det en sløsing med ressurser for å re-indeksen uendret siden. På den annen side, ønsker Google å re-indeksen endret sider for å levere up-to-date resultater. For å holde indeksen gjeldende, Google recrawls kontinuerlig populære hyppig skiftende websider med en hastighet omtrent proporsjonal med hvor ofte sidene endres. Slike gjennomganger holde en indeks strøm og er kjent som ferske gjennomganger. Avissider er lastet ned hver dag, er sider med aksjekurser ned mye oftere. Of course, friske kryper tilbake færre sider enn den dype gjennomgangen.
Kombinasjonen av de to typer gjennomganger gjør at Google kan både gjøre effektiv bruk av sine ressurser og holde indeksen forholdsvis aktuell. 2. Googles Indexer Googlebot gir indekser de fullstendige sidene den finner. Disse sidene er lagret i Google-indeksen database. Denne ind