Hva er robots.txt-filen?

Introduksjon

Filen robots.txt er en enkel tekstfil som er en del av robotutestengingsprotokollen (REP - Robots Exclusion Protocol). Den inneholder instruksjoner til søkemotorer om hvordan de skal få tilgang til og indeksere nettstedet. For å ha effekt må robots.txt-filen plasseres i rotmappen til nettstedet (for eksempel https://domeniu.no/robots.txt).

Viktigheten av robots.txt-filen

Filen robots.txt er avgjørende for å styre samspillet mellom roboter og nettstedet. Det finnes mange roboter som kan indeksere nettstedet aggressivt, noe som kan påvirke ytelsen. Ved å bruke denne filen kan du:

• Kontroller søkemotorers tilgang til nettstedets innhold.
• Tillater indeksering kun av ønskede roboter (f.eks. Google, Bing).
• Begrens tilgangen til sensitive mapper eller filer.

Eksempler på bruk

1. Blokering av en spesifikk søkemotor

For å blokkere Bing søkemotorens tilgang (bingbot), inkluder de følgende linjene i robots.txt-filen:

User-agent: bingbotDisallow: /

Forklaring:
Bruker-agent: Angir søkemotoren som innstillingene gjelder for.
Disallow: Definerer de delene av nettstedet som roboten ikke har tilgang til. Symbolet / blokkerer tilgang til hele nettstedet.

2. Blokkering av alle søkemotorer

For å hindre alle søkemotorer i å få tilgang til nettstedet, bruk:

Bruker-agent: *Disallow: /

Forklaring: Symbolet * (wildcard) i feltet User-agent gjelder for alle søkemotorer, mens / blokkerer tilgang til hele nettstedet.

3. Blokkering av tilgang kun til bestemte mapper eller filer

For å blokkere tilgangen til en mappe og en spesifikk fil, konfigurer:

Bruker-agent: *Disallow: /blog/Disallow: /newsletter.php

Forklaring: Alle søkemotorer vil bli blokkert fra å indeksere mappen /blog/ og filen newsletter.php.

Oppretting av robots.txt-filen

For å lage en robots.txt-fil, kan du bruke en nettbasert generator som hjelper deg med å tilpasse reglene raskt og uten feil. Eksempler på nettgeneratorer kan finnes gjennom et søk: Generator robots.txt.

Etter at du har opprettet filen, last den opp i rotkatalogen til nettstedet ved hjelp av en filbehandler eller en FTP-klient.