CIO Tech Eksperten IT-JOB IT-Kurser Events Podcast Søg

Log ind eller opret profil

Du kan også logge ind via nedenstående tjenester

kiss Nybegynder

02. juli 2004 - 14:51 Der er 10 kommentarer

Hvorfor og hvordan bruger man robots.txt

Hvorfor og hvordan bruger man filen robots.txt? Min hjemmeside skal selvfølgelig ligge så højt som muligt på søgesiderne, og jeg har i den forbindelse fået lavet noget søgemaskine-optimering. Jeg har hørt at man bør lave en robots.txt fil som sskal lægges i roden af websitet. Den info jeg kan finde omkring dette siger ikke så meget om hvad man får ud af at bruge filen og så vidt jeg kan se handler de eksempler jeg har set mest om at ekskludere søgerobotterne fra at indexere sitet... Hvis man vil ligge højt er man vel ikke interesseret i ikke at blive indexeret?

Synes godt om

erikjacobsen Ekspert

02. juli 2004 - 14:58 #1

Formelt behøver du ikke gøre noget, men lægger du en robots.txt, der giver lov til
alt, fordi du ikke vil udelukke noget, indikerer du at du måske er lidt mere
seriøs end dem, der ikke gør. Det er en faktor som søgemaskiner måske vil lægge
vægt på. Det skader i hvert fald ikke at lægge sådan een ;)

Min ser nu sådan her ud for tiden:

# you're welcome, unless you're MSNbot
User-agent: msnbot
Disallow: /
User-agent: *
Disallow:

Synes godt om

keysersoze Ekspert

02. juli 2004 - 15:09 #2

kigger lige med - hvor kan man evt finde en liste over de forskellige user-agents?

Synes godt om

kiss Nybegynder

02. juli 2004 - 15:19 #3

Hej Erikjacobsen - Hvorfor ønsker du ikke MSNbot ?

Synes godt om

snowball Novice

02. juli 2004 - 15:26 #4

Du kan evt. prøve at læse http://www.robotstxt.org/wc/robots.html

Synes godt om

kiss Nybegynder

02. juli 2004 - 15:36 #5

Hej Snowball. Har kigget på siden, men jeg kan ikke rigtig finde svaret der synes jeg.

Synes godt om

erikjacobsen Ekspert

02. juli 2004 - 16:17 #6

msnbot kom væltende en dag, og trak en masse trafik. Derfor. Måske får de lov en dag.

Synes godt om

kiss Nybegynder

05. juli 2004 - 10:38 #7

Har skrevet denne...
- - -
User-agent: *
Disallow: /cgi-bin/
Disallow: /_index - jul/
Disallow:
- - -
Denne skulle betyde at jeg accepterer alle crawlere, men at de ikke må kigge i /cgi-bin/ og biblioteket /_index - jul/

Er dette skrevet korrekt?

Synes godt om

erikjacobsen Ekspert

05. juli 2004 - 10:42 #8

Den sidste linie er overflødig.

Synes godt om

kiss Nybegynder

05. juli 2004 - 11:55 #9

Tak, - jeg fjerner den sidste linie. Send et svar, så du kan få points.

Synes godt om

kiss Nybegynder

26. september 2005 - 09:03 #10

Så svarer jeg selv

Synes godt om

Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Følg dette spørgsmål

Opret Preview

Se alle it-kurser fra Computerworld Kurser

IT-kurser om Microsoft 365, sikkerhed, personlig vækst, udvikling, digital markedsføring, grafisk design, SAP og forretningsanalyse.

Se alle it-kurser

Flere spørgsmål fra Andre onlineløsninger kategorien

Titel	Indlæg	Oprettet	Seneste aktivitet
hvilken AI foretrækker I ? Af jcr18 i Andre onlineløsninger	3	07/05/202521:10	02/06/202517:42
Hvordan dæmmer man bedst op for 'bots' på sin hjemmeside? Af hudsonium i Andre onlineløsninger	5	29/03/202514:28	03/06/202508:10
Google maps - afstanden altid i km - pc Af 1Dorte i Andre onlineløsninger	5	11/11/202409:41	11/11/202419:36
Problem med WordPress-installation via One.com's 1-klik installation 🚨 Af tobiasandersen i Andre onlineløsninger	7	09/09/202408:56	18/09/202415:18
Kunstig Enteligents For Synshandicappede Af tobberjas i Andre onlineløsninger	4	25/05/202411:37	26/05/202423:04

Se alle spørgsmål i kategorien Opret spørgsmål

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester

Alle kategorier på Eksperten

Seneste artiklerRSS