Robots.txt & Meta-robots guide: Sørg for at Google kun indekserer det relevante!

EN FEJL DER KOSTER KNASTER

Husker du de “gode” tider, hvor e-bøger var gratis? Eller de var såmænd ikke gratis. Men du kunne finde dem på Google, hvis du blot kendte titlen.
Det var gode tider. Altså for dem, der søgte bogen. Men ikke for dig, der lever af at sælge bøger. Det er netop den fejl, de fleste online boghandlere begik. En fejl der kostede dem knaster! Avv…. I dag har de heldigvis læst på lektien og lært af deres fejl!

Men hvad var det nu lige, der gik galt?

Online bogforhandlere (som f.eks Saxo) lod Google indeksere alle områder af websitet også e-bøgerne. Derfor kunne du førhen google dig til diverse e-bøger.

Lad det ikke ske for dig! (Også hvis du ikke sælger bøger).

For det kan også gå galt for dig. Hvis du altså ikke fortæller Google, hvilke filer der skal indekseres!

SÅDAN GØR DU

Du kan vælge mellem følgende to metoder/SEO-kommandoer:

1. Robots.txt
2. Meta-Robots

Don’t worry. Selvom det er teknisk, så vil du forstå det. Ellers er du altid velkommen til at kontakte os, hvis du har spørgsmål.

ROBOTS.TXT

Robots.txt er en tekst-fil, som du finder i roden af dit website. Robots.txt fortæller Google, hvilke sider på dit website, Google skal crawle, og hvilke den ikke skal crawle.
Google crawler altid Robots.txt, inden den crawler din hjemmeside.

Derfor skal du bruge Robots.txt

Du bruger Robots.txt, når du vil:

• Forhindre duplicate content
• Sørge for at Google ikke indekserer relevante landingssider
• Øge relevansen for din hjemmeside
• Gøre brugeroplevelsen bedre, fordi din besøger ikke kommer ind på forkerte landingssider
• Hjælpe Google med at lokalisere dit XML Sitemap

XML Sitemap er en liste med alle sider, som du ønsker indekseret.

Sådan kommer du i gang med Robots.txt

1. Start med at oprette en tom tekstfil
2. Find ud af hvilke sider du vil have, at Google indekserer

Du ønsker f.eks. ikke, at Google crawler følgende sider:

• Testsider
• Sider med tyndt indhold, dvs. ufærdige sider
• Søgeresultatsider
• Duplicate content (dobbelt eller kopieret indhold)
• Mediefiler, f.eks. e-bøger (uh, den er vigtigt, den her!)
• Kontaktformularer
• Loginsider

Brug kommandoer i Robots.txt

Du bruger kommandoen “disallow”, når du vil fortæller Google, hvilke sider den skal crawle (eller ikke crawle).

Her er et par eksempler på kommandoer i Robots.txt:

• Hele websitet skal crawles: Disallow:
• Hele websitet skal ikke crawles: Disallow: /
• Mappe skal ikke crawles:Disallow: /NavnPåMappe/
• Fil skal ikke crawles:Disallow: /NavnPåMappe/NavnPåFil.png
• Filtyper skal ikke crawles:Disallow: /*.png
• Alt der indeholder et bestemt ord skal ikke crawles:Disallow: *FortroligViden

Når du har defineret kommandoer, gemmer du dokumentet under navnet “Robots.txt” i roden af domænet, som du finder via din FTP-indgang.

Eksempel: Elgiganten

Lad os antage, at du søger efter computertilbehør på Elgigantens hjemmeside. Når du indtaster “computertilbehør” på websitets søgefunktion, ser du forskellige produkter, der passer til din søgning.

Du vil gerne sørge for, at Google ikke indekserer disse søgninger. For hvis Google indekserer dem, har du dobbelt indhold på websitet, og du får lavere ranking på Google. Det ønsker du jo ikke! Det sker fordi, produkterne findes et andet sted på sitet, under en bestemt produktkategori.

Du afviser (“disallower”) indeksering af søgningerne med kommandoen “Disallow: /catalogsearch/”.

F.eks.

http://www.hjemmeside/catalogsearch/result/?q=søgning1

http://www.hjemmeside/catalogsearch/result/?q=søgning2

http://www.hjemmeside/catalogsearch/result/?q=søgning3

Skabeloner til Robots.txt

Du finder skabeloner til de fleste systemer:

• Magento
• WordPress
• Joomla
• Shopify

Kan du ikke finde system i listen? Så kontakt os, og vi finder en løsning!

META ROBOTS

I Robots.txt indsætter du kommandoer i URL’en. Og i Meta Robots sætter du kommandoen ind i en stump kode på de sider (eller dele af side), Google ikke skal indeksere.

I Robots.txt forhindrer du Google i at crawle hele landingssiden, hvor du i Meta Robots forhindrer Google i at indeksere dele af siden. Det betyder, at indekseringen stopper der, hvor koden er sat ind (det er meget teknisk).

Sådan bruger du kommandoer i Meta Robots

I Meta Robots kan du angive:

• Index: Google indekserer din landingsside
• Noindex: Google indekserer ikke din landingsside
• Follow: Google følger links fra landingssiden
• Nofollow: Google følger ikke links fra landingssiden

Google indekserer og følger links automatisk. Derfor behøver du ikke vælge kommandoerne “index” eller “follow”. Du bør i stedet koncentrere dig om “noindex” og “nofollow”.

Nu er du nået dertil, hvor du placerer Meta Robots koden i din header. Sådan ser koden ud:

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

Indekserede sider: Sådan gør du

Nu skal du til at finde ud af, om din hjemmeside er indekseret korrekt. Og ja, det er en lang process. Men den er vigtig!

Du starter med at lave følgende søgning på Google:
site:www.dinhjemmeside.dk

Nu viser Google alle de sider, som er indekseret fra din hjemmeside. Nu går du alle indekserede sider igennem, og du finder ud af, om der er landingssider, som Google ikke skal indeksere.

Så sætter du Meta Robots-tagget (koden) ind på de sider, som Google ikke skal indeksere.

Sådan! Nu har du godt styr på Robots.txt og Meta Robots. Og nu kan du sørge for, at du ikke begår samme fejl, som online boghandlerne gjorde for et par år siden!
Meeeen… Hvis du nu alligevel tænker, at dette er nok lidt for teknisk for dig, og du hellere vil bruge din tid på det, du er god til, så kontakt os allerede i dag og hør, hvordan vi kan hjælpe dig!