Plik Robots.txt a pozycjonowanie SEO

Rola i wpływ pliku robots.txt na pozycjonowanie.

Plik robots.txt służy do ograniczenia dostępu do witryny robotom indeksującym. Przed pobraniem strony robot sprawdza plik robots.txt czy nie blokuje dostępu do strony. W pliku robots.txt podajemy również adres do pliku z mapą strony a więc sitemap.xml.

Reguły stosowane w pliku robots.txt:

• User-agent - określa robota, którego dotyczy dana reguła,
• Allow/Disallow - określa treści lub adres URL który chcemy odblokować/zablokować,
• Sitemap - adres do pliku z mapą witryny,
• Request-rate - maksymalna prędkość, z jaką robot może pobierać witrynę,
• Visit-time - godziny, w których robot może odwiedzać witrynę.

Przykładowy plik robots.txt:

User-agent: *
Allow: /
User-agent: GoogleBot
Disallow: /podstrona/
# Sitemap
Sitemap: http://adres.pl/sitemap.xml

gdzie:

• "*" - oznacza, że wszystkie roboty mają dostęp do witryny,
• "Allow: /" - określa, że cała witryna jest dostępna dla robota, nie blokuje żadnej treści,
• "User-agent: GoogleBot
  Disallow /podstrona/" - blokuje jedną podstronę dla robota google.