Sikkerhed fra søgemaskinerne

Det får du svar på lige her:
http://html.dk/artikler/00007/
http://html.dk/artikler/00003/

http://www.google.com/webmasters/faq.html#nocrawl

lav en mappe til dine filer og kald den ex brochure, læg filerne der ind.

Herefter læger du en fil i roden på dit webhotel, der hedder robot.txt, og skriver følgende i den:

User-agent: *
Disallow: /brochure/

Vil det gælde alle søgemaskiner ikke kun google?

Men er det sikkert nok, hvad hvis jeg går ind og lægger beskyttelse på denne mappe, så vil folk jo kunne download den robot.txt og undersøge den for mappens navn og derefter "gætte" sig til hvilke sider der måtte ligge der.

robot.txt sikre at ingen søgerobotter kommer ind på de sider du skriver disallow udfor. Så i dette tilfælde vil de sider der ligger i mappen brochure aldrig være at finde i en søgemaskine.

er det beskyttelse fra søgemaskiner eller fra andre brugere af nettet du er ude efter?

robot.txt beskytter dig ikke mod brugere, men mod søgemaskiner.

Og så forstår jeg ikke hvis jeg nu sætter disallow: /alle

så er det kun mappen /alle den ikke indeksere? hvad så hvis jeg har ydereligere et niveau af mapper /alle/2004 skal denne så også tilføjes?

I mit tilfælde ville det være en rigtig dårlig løsning da der oftes tilføjes nye mapper for at holde styr på det.

Moejensen: Det er beskyttelse fra brugere + søgemaskinerne.

Jeg er klar over jeg kunne gemme filerne som .asp og så inkl. mit sikkerhedstjek på dem, men hva så med .pdf filer .doc m.v?

du kan godt nøjes med /alle, så vil alle mapper derunder heller ikke blive indekseret

som sagt før, så eskytter dette dig ikke mod brugere, så jeg vil foreslå dig at lægge dine hemmelige filer i en disallow mappe, og så sætte asp tjek på. dine pdf filer giver du så et navn der ikke er til at gætte. Brugere kan jo oftest ikke liste indholdet af mapper, så selvom de kender navnet på mappen hvor filerne ligger, så kan de ikke hente filerne.

moejensen, jeg kan godt følge dig, men det må da være muligt at lave et område for både pdf, htm m.v. som er "lukket" af for omverden?

yep, men det krævet noget speciel opsætning på serveren.

Hmmm kan du uddybe det??

du kan sikre at iusr_servernavn ikke har adgnag ti lmappen, og så få serveren til at bede om windows logon for at folk kan komme ind i mappen.

Hvis siderne er sikret med brugernavn og password, og alle dokumenter kontrollere om den "bruger" der henter dem, også er logget ind og valideret, vil søgebotten ikke kuinne hente disse dokumenter da den jo ikke kan indtaste et brugernavn og password.

Det er dog rigtig godt spørgsmål du stiller og man skal overveje meget nøje hvad man gør, og også kontrollere om ikke google kan komme ind ad en anden kanal. Du bør sikre dig følgende.

Web serveren må ikke tillade directory listings (d.v.s. google kan ikke hente filerne fra et bibliotek der ikke indeholder en index.htm eller lignende. google kan kun hente sider der linkes til.

Kontrollen af om brugeren er valideret skal ske på hver side der tilgås