Förstå och använda robots.txt filer

We alla! Få lite upphetsad när sökmotor besök vår webbplats ofta och indexerar vårt innehåll. Det finns dock vissa saker som vi don t vill att sökmotorerna att spider på grund av privat information som vi don t vill att världen ska se. Ett annat scenario skulle vara att vi kan ha mer än en version av en sida på vår webbplats. Vi kan tala om för sökmotorer i vår robot.txt fil som för att krypa och vilka som ska ignorera. Vi don definitivt inte ha båda dessa sidor som ska genomsökas och sluta med sökmotorn spik dig för spam på grund av dubbletter i de två liknande versioner av en page.

Another anledning kanske du vill berätta spindlar inte att katalogisera en sida skulle vara att spara lite bandbredd genom att utesluta några av de bilder, formatmallar eller javascript. Med robot.txt filen kan du vara mycket specifik om vad du vill spindel och inte spidered.What gör robots.txt fil egentligen? Robots.txt är en textfil (ej html) du sätter på din webbplats för att informera de sökrobotar vilka sidor på din webbplats som du vill ska genomsökas och vilka du don t vill att spindlar att krypa. Placera en robots.

txt-fil på din webbplats inte på uppdrag av sökmotorer, men sökmotorerna kommer normalt att följa dina instruktioner som du skulle in i den här filen. Denna process liknar sätta en skylt på din webbplats säger Do Not Enter på en olåst dörr. Den här filen är inte en brandvägg så sökmotorn fortfarande kan spindel din site.Another sätt ni kan tala om de motorer som filer och mappar som inte spider skulle vara med hjälp av en robot metatagg. Vissa motorer don t läsa metataggar, så informationen i robotar metatagg skulle inte ses alls av vissa motorer.

Det bästa sättet att vara specifik för alla motorer skulle vara med användning av robots.txt-fil .... inte robotar metatags.Where du placerar din robots.txt-fil är oerhört viktigt. Det måste vara i huvudkatalogen eller sökmotorerna kommer inte att hitta filen. Motorerna inte söka på hela webbplatsen, de ser i huvudkatalogen och om de don t hitta filen där, skulle motorn anta att en sådan fil inte existerar. Som ett resultat, då motorn skulle index allt de hittar på din webbplats.

Även om den här filen inte krävs av motorer, om du inte t lägga filen på rätt plats sökmotorerna kommer sannolikt indexera hela webbplatsen, inklusive din privata information som du ville hålla confidential.The struktur filen robots.txt har liten eller ingen flexibilitet. Att lära sig funktion och struktur är ganska enkelt om du gör en bit