Men hvad var det nu lige, der gik galt?
Online bogforhandlere (som f.eks Saxo) lod Google indeksere alle områder af websitet også e-bøgerne. Derfor kunne du førhen google dig til diverse e-bøger.
Lad det ikke ske for dig! (Også hvis du ikke sælger bøger).
For det kan også gå galt for dig. Hvis du altså ikke fortæller Google, hvilke filer der skal indekseres!
Crawling: Google gennemser dit website.
Indeksering: Google sender sine crawlers (eller bots) for at gennemse dit website. Her kopierer de indholdet på websitet og gemmer det i et indeks. Indeksering er den proces lige efter crawling.
SÅDAN GØR DU
Du kan vælge mellem følgende to metoder/SEO-kommandoer:
- Robots.txt
- Meta-Robots
Don’t worry. Selvom det er teknisk, så vil du forstå det. Ellers er du altid velkommen til at kontakte os, hvis du har spørgsmål.
Robots.txt fortæller Google, hvilke sider på din hjemmeside, der skal crawles.
Meta-Robots fortæller til gengæld, om Google skal indeksere din hjemmeside.
ROBOTS.TXT
Robots.txt er en tekst-fil, som du finder i roden af dit website. Robots.txt fortæller Google, hvilke sider på dit website, Google skal crawle, og hvilke den ikke skal crawle.
Google crawler altid Robots.txt, inden den crawler din hjemmeside.
Derfor skal du bruge Robots.txt
Du bruger Robots.txt, når du vil:
- Forhindre duplicate content
- Sørge for at Google ikke indekserer relevante landingssider
- Øge relevansen for din hjemmeside
- Gøre brugeroplevelsen bedre, fordi din besøger ikke kommer ind på forkerte landingssider
- Hjælpe Google med at lokalisere dit XML Sitemap
XML Sitemap er en liste med alle sider, som du ønsker indekseret.
Sådan kommer du i gang med Robots.txt
- Start med at oprette en tom tekstfil
- Find ud af hvilke sider du vil have, at Google indekserer
Du ønsker f.eks. ikke, at Google crawler følgende sider:
- Testsider
- Sider med tyndt indhold, dvs. ufærdige sider
- Søgeresultatsider
- Duplicate content (dobbelt eller kopieret indhold)
- Mediefiler, f.eks. e-bøger (uh, den er vigtigt, den her!)
- Kontaktformularer
- Loginsider
Brug kommandoer i Robots.txt
Du bruger kommandoen “disallow”, når du vil fortæller Google, hvilke sider den skal crawle (eller ikke crawle).
Her er et par eksempler på kommandoer i Robots.txt:
- Hele websitet skal crawles:Disallow:
- Hele websitet skal ikke crawles: Disallow: /
- Mappe skal ikke crawles:Disallow: /NavnPåMappe/
- Fil skal ikke crawles:Disallow: /NavnPåMappe/NavnPåFil.png
- Filtyper skal ikke crawles:Disallow: /*.png
- Alt der indeholder et bestemt ord skal ikke crawles:Disallow: *FortroligViden
Når du har defineret kommandoer, gemmer du dokumentet under navnet “Robots.txt” i roden af domænet, som du finder via din FTP-indgang.
Eksempel: Elgiganten
Lad os antage, at du søger efter computertilbehør på Elgigantens hjemmeside. Når du indtaster “computertilbehør” på websitets søgefunktion, ser du forskellige produkter, der passer til din søgning.
Du vil gerne sørge for, at Google ikke indekserer disse søgninger. For hvis Google indekserer dem, har du dobbelt indhold på websitet, og du får lavere ranking på Google. Det ønsker du jo ikke! Det sker fordi, produkterne findes et andet sted på sitet, under en bestemt produktkategori.
Du afviser (“disallower”) indeksering af søgningerne med kommandoen “Disallow: /catalogsearch/”.
F.eks.
http://www.hjemmeside/catalogsearch/result/?q=søgning1
http://www.hjemmeside/catalogsearch/result/?q=søgning2
http://www.hjemmeside/catalogsearch/result/?q=søgning3
Skabeloner til Robots.txt
Du finder skabeloner til de fleste systemer:
Kan du ikke finde system i listen? Så kontakt os, og vi finder en løsning!
META ROBOTS
I Robots.txt indsætter du kommandoer i URL’en. Og i Meta Robots sætter du kommandoen ind i en stump kode på de sider (eller dele af side), Google ikke skal indeksere.
I Robots.txt forhindrer du Google i at crawle hele landingssiden, hvor du i Meta Robots forhindrer Google i at indeksere dele af siden. Det betyder, at indekseringen stopper der, hvor koden er sat ind (det er meget teknisk).
Sådan bruger du kommandoer i Meta Robots
I Meta Robots kan du angive:
- Index: Google indekserer din landingsside
- Noindex: Google indekserer ikke din landingsside
- Follow: Google følger links fra landingssiden
- Nofollow: Google følger ikke links fra landingssiden
Google indekserer og følger links automatisk. Derfor behøver du ikke vælge kommandoerne “index” eller “follow”. Du bør i stedet koncentrere dig om “noindex” og “nofollow”.
Nu er du nået dertil, hvor du placerer Meta Robots koden i din header. Sådan ser koden ud:
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
Indekserede sider: Sådan gør du
Nu skal du til at finde ud af, om din hjemmeside er indekseret korrekt. Og ja, det er en lang process. Men den er vigtig!
Du starter med at lave følgende søgning på Google:
site:www.dinhjemmeside.dk
Nu viser Google alle de sider, som er indekseret fra din hjemmeside. Nu går du alle indekserede sider igennem, og du finder ud af, om der er landingssider, som Google ikke skal indeksere.
Så sætter du Meta Robots-tagget (koden) ind på de sider, som Google ikke skal indeksere.
Sådan! Nu har du godt styr på Robots.txt og Meta Robots. Og nu kan du sørge for, at du ikke begår samme fejl, som online boghandlerne gjorde for et par år siden!
Meeeen… Hvis du nu alligevel tænker, at dette er nok lidt for teknisk for dig, og du hellere vil bruge din tid på det, du er god til, så kontakt os allerede i dag og hør, hvordan vi kan hjælpe dig!
Skriv et svar