Plik Robots.txt a pozycjonowanie SEO

Rola i wpływ pliku robots.txt na pozycjonowanie.


Plik robots.txt służy do ograniczenia dostępu do witryny robotom indeksującym. Przed pobraniem strony robot sprawdza plik robots.txt czy nie blokuje dostępu do strony. W pliku robots.txt podajemy również adres do pliku z mapą strony a więc sitemap.xml.

Reguły stosowane w pliku robots.txt:

  • User-agent - określa robota, którego dotyczy dana reguła,
  • Allow/Disallow - określa treści lub adres URL który chcemy odblokować/zablokować,
  • Sitemap - adres do pliku z mapą witryny,
  • Request-rate - maksymalna prędkość, z jaką robot może pobierać witrynę,
  • Visit-time - godziny, w których robot może odwiedzać witrynę.

Przykładowy plik robots.txt:

User-agent: *
Allow: /
User-agent: GoogleBot
Disallow: /podstrona/
# Sitemap
Sitemap: http://adres.pl/sitemap.xml

gdzie:
  • "*" - oznacza, że wszystkie roboty mają dostęp do witryny,
  • "Allow: /" - określa, że cała witryna jest dostępna dla robota, nie blokuje żadnej treści,
  • "User-agent: GoogleBot
    Disallow /podstrona/"
    - blokuje jedną podstronę dla robota google.
Komentarze facebook (polub nasz profil na FB aby je zobaczyć):