Usynlighed for søgemaskiner?

http://www.javascriptkit.com/howto/robots.shtml

The following disallows all search engines and robots from crawling select directories and pages:

User-agent: *
Disallow: /cgi-bin/
Disallow: /privatedir/
Disallow: /tutorials/blank.htm

Nu skal du lige huske, at så længe en bruger kan komme ind på et website, så kan en søgemaskine også. Mange søgemaskiner respekterer dog at du kan feje dem væk ved døren, men i realiteten kunne de bare ignorerer dine anmodninger. Så lad ikke den slags være en erstatning for ordentlig adgangs-beskyttelse, hvis det er dét du påtænker :)

Det dummeste man nogensinde kan gøre, er at fortælle hvad man ikke må!
Det svarer til at man siger "Jeg vil ikke fortælle dig, at der er en mappe med navnet 'HemmeligeFiler', som du ikke må kende til". -- ikke særligt smart vel? :-)

Man skal i stedet sige:
1) Du må intet!
2) Du må det her, og det her, og det her, osv..

Ellers kan man jo netop se hvad man ikke må.

robots.txt skal derfor disallow'e ALT, og derefter allow'e det man må få adgang til. Det giver mere arbejde men også bedre sikkerhed.

Men ikke engang dét behøver søgemaskinerne respektere, husk det :)

webcreator> Søgemaskinerne kan ikke læse "/tutorials/blank.htm", hvis de ikke ved at "/tutorials/blank.htm" eksisterer.

Det er netop det man opnår, når man kun allow'er det der "eksisterer".

Hvis absolut ikke må kunne læses, skal det naturligvis ikke lægges online. Og hvis man absolut skal lægge det (der ikke må kunne læses) online, skal man hverken have det med i robots.txt eller i links. Der må overhovedet ikke henvises til det.

Helt korrekt, hvis der ikke henvises til det, så kan søgemaskinen ikke finde det - men det er internettet, og links har det med at blive kastet rundt og pludselig ende på et forum eller lignende, hvorfor jeg mener at det ikke udgør en tilnærmelsesvis god sikkerhed.

Serveren kunne også have slået listning af hotellets filer slået til, hvilket også bør deaktiveres.