Forstå og bruke Robots.txt

We filer! Alle få litt spent når søkemotorene besøk vår nettside ofte og indekser innholdet vårt. Men det er visse ting som vi don t ønsker søkemotorer å edderkopp på grunn av privat informasjon som vi don t vil at verden skal se. Et annet scenario er at vi kan ha mer enn én versjon av en side på nettstedet vårt. Vi kan fortelle søkemotorene i vår robot.txt fil hvilken side som skal gjennomgå og hvilke du vil ignorere. Vi definitivt don t vil begge disse sidene skal gjennomgås, og ender opp med søkemotoren spikre deg for spam på grunn av likt innhold i de to like versjoner av én page.

Another grunn ønsker du kanskje å fortelle edderkoppene ikke å edderkopp en side ville være å spare båndbredde ved å ekskludere noen av bildene, stilark eller javascript. Med robot.txt filen kan du være veldig konkret om hva du ønsker edderkopp og ikke spidered.What ikke Robots.txt fil egentlig betyr? Robots.txt er en tekstfil (ikke html) du sette på ditt nettsted for å informere søkeroboter hvilke sider av nettstedet ditt som du vil skal gjennomsøkes, og hvilke du don t vil edderkoppene skal gjennomgå. Plassere en robots.

txt-fil på din side er ikke mandat av søkemotorer, men søkemotorene vil normalt følge instruksjonene du ville benyttet i denne filen. Denne prosessen er lik sette et skilt på ditt nettsted sier Ikke gå inn på en ulåst dør. Denne filen er ikke en brann vegg slik at søkemotoren kan likevel edderkopp din site.Another måten du kunne fortelle motorer hvilke filer og mapper som ikke edderkopp ville være med bruk av en roboter metakode. Noen motorer don t lese metatags, slik at informasjonen i roboter metakode ville ikke bli sett i det hele tatt av enkelte motorer.

Den foretrukne måten å være spesifikke for alle motorene vil være med bruk av robots.txt-filen .... ikke roboter metatags.Where du plasserer robots.txt-filen er av vital betydning. Det må være i hovedkatalogen eller søkemotorer vil ikke finne filen. Motorene ikke søke i hele området, de ser i hovedkatalogen og hvis de don t finne filen der, ville motoren anta at en slik fil eksisterer ikke. Som et resultat, da motoren vil indeksere alt de finner på din side.

Selv om denne filen ikke er nødvendig av motorer, hvis du ikke skjønner plassere filen på rett sted søkemotorene vil trolig indeksere hele området, inkludert din private informasjon du ønsket å holde confidential.The strukturen i robots.txt-filen har liten eller ingen fleksibilitet. Læring funksjonen og strukturen er ganske enkelt hvis du gjør litt a