103,125 - 216.89.218.168 80 GET /robots.txt - 200 0 400 285 78 HTTP /1.0 www.hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html Anmeldelser - 2006-03-11 07: 47:05 66.154.103.119 - 216.89.218.168 80 GET /larger_image.asp PID = 219 200 0 0 299 109 HTTP /1.0 www.hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html Anmeldelser -
Edderkoppen i dette tilfellet faktisk tilhører en søkemotor kalt gigablast, og er hensiktsmessig, kalt den Gigabot.
Den Gigabot bare krøp sider og filer som andre søkemotorer har, og gjorde ingen forsøk på overhodet å få tilgang til filer og skript av en kjent ondsinnet karakter.
gigablast er en "Tier 2" søkemotor som har over en milliard sider indeksert fra og med datoen for denne artikkelen (13. mars 2006.) Selv om det ikke er på samme nivå når det gjelder popularitet som Big 3 av Yahoo !, MSN og Google, det har indeksert en betydelig stor del av nettet, og kan være nyttig for noen søk.
Spesielt har gigablast implementert en "Giga bits" funksjon der alternative søk er foreslått basert på brukerens opprinnelige spørring for å hjelpe begrense søket ned og gi større relevans.
Jeg gjennomført ytterligere undersøkelser og oppdaget at noen . IP-adresser fra 66,154 * IP blokk løser til gigablast.com f.eks:
50 Anmeldelser
Konklusjon - Den Gigabot er trygt
Som du kan godt ha forstått nå, er Gigabot en helt trygg edderkopp som fungerer og opererer på samme måte som andre søkemotor edderkopper operere. Det er ingen grunn på dette tidspunktet å blokkere 66,154 * IP spenner at boten bruker.; om noe, ville webmastere få fra den potensielle gratis trafikk som gigablast ville generere for sine nettsteder som følge av Gigabot innsats.