ORDBOG / SEO

Hvad er robots.txt?

Skrevet af Milos Pavic, SEO & E-commerce Specialist

Robots.txt er en tekstfil der fortæller søgemaskiner hvilke dele af en hjemmeside de må og ikke må crawle.

Hvordan fungerer robots.txt?

Filen placeres i roddirectory på din hjemmeside og læses af Googles crawler — Googlebot — inden den begynder at crawle siden. Du kan bruge robots.txt til at blokere specifikke sider, mapper eller parametre du ikke ønsker indekseret. Det er vigtigt at forstå at robots.txt forhindrer crawling — ikke indeksering. En side der er blokeret i robots.txt kan stadig blive indekseret hvis andre sider linker til den. Robots.txt er særligt vigtig på store sites hvor du vil styre crawlbudgettet effektivt og sikre at Google bruger sine ressourcer på dine vigtigste sider.

Eksempel på robots.txt

En webshop blokerer sit /admin-directory og alle URL-parametre fra søgning i robots.txt. Det sikrer at Googlebot ikke spilder crawlbudget på sider der aldrig skal rangere.

Hvorfor er robots.txt vigtig?

  • Styrer hvordan Google prioriterer crawling af dit site
  • Beskytter interne sider mod unødvendig crawling
  • Fejl i robots.txt kan blokere hele dit site fra Google

Relaterede termer

Hvad er crawlbudget?

Crawlbudget er det antal sider Googlebot crawler på din hjemmeside inden for en given tidsperiode.

Hvad er en sitemap?

En sitemap er en fil der fortæller søgemaskiner hvilke sider på en hjemmeside der findes og skal indekseres.

Hvad er teknisk SEO?

Teknisk SEO er optimering af en hjemmesides tekniske fundament, så søgemaskiner kan crawle, indeksere og rangere indholdet korrekt.

← Tilbage til SEO