Robots.txt fil

du skal have navngivet de mapper, der IKKE må pilles i, fx


User-agent: *
Disallow: /dl/ # This is an infinite virtual URL space
Disallow: /images/ # This is an infinite virtual URL space
Disallow: /inkl/ # This is an infinite virtual URL space
Disallow: /log/ # This is an infinite virtual URL space

så kører den i alt pånær de 4 omtalte mapper.

Mange tak. Skal "This is an infinite virtual URL space" også med?

det, der er efter # er bare kommentar (inkl # selv)

Okay. Mange tak. Hvordan er det egentlig at man giver points?

Nå, det var nemt nok...

Hvad så hvis man vil disallowe roden af serveren, men ikke nogle bestemte mapper?

To exclude all robots from the entire server
User-agent: *
Disallow: /

men læs lige http://www.robotstxt.org/robotstxt.html
der står meget fornuftigt på den.

Har læst robotstxt.org.
__________
To exclude all files except one
This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "stuff", and leave the one file in the level above this directory:
User-agent: *
Disallow: /~joe/stuff/
Alternatively you can explicitly disallow all disallowed pages:
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
__________

Vil det sige, at man skal gøre det på den "hårde" måde?

der er kun den lange og kedelige - og som de skriver om robots.txt - alle kan læse filen, og 'de flinke' følger teksten. Alle 'de skumle' bruger den til en opskrift på, hvad du ikke vil vise frem.

Tusind tak!!!