robots.txt allow og disallow

Ja, din robots.txt giver mening. Faktisk er det den eneste logiske måde (med hensyn til sikkerheden) at opnå netop det du ønsker.

Du fortæller søgemaskinerne at de overhovedet ikke må indeksere sitet, og derefter fortæller du dem at de må indekserer mappen "xxx".

Alternativet er at fortælle dem, at de ikke må indekserer mappen "mappe1", "hemmeligemappe" osv.

Men så kan man se hvilken mapper der indeholder følsomme oplysninger (nemlig "hemmeligemappe").

Hej

Tak for svar. Jeg synes bare at have læst, at "allow" kommandoen ikke er særlig brugt, og måske endda kun kan forstås af googlebot og ikke andre søgemaskiner??!!?

Mvh Per

Det "normale" formål med robots.txt er at forhindre søgemaskiner i at indeksere sites.

Så, man kunne sige at det "normale" ville være at putte "mappe1", "hemmeligemappe" i disallow.

Det svarer til at man siger "du må ikke se under gulvet, hvor jeg har gemt en stor pose penge".

Af sikkerhedsmæssige årsagen, er det mere logisk at sige "jeg har ingen penge. Jeg har dog nogle få mønter på skrivebordet".


Der er lige en vigtig ting du skal huske:

  robots.txt er IKKE lov!

Det betyder, at søgemaskinerne IKKE behøver at følge den.

Spambots der indsamler e-mail-adresse (kaldet "spamdexing") vil højst sandsynlig ignorere robots.txt, idet filen forhindre spambotten i dens primære funktion, som er at indsamle data der kan indeholde e-mail-adresser.


Man kan så sætte fælder op, der blokerer for de IP adresser, som spambots kommer fra, ved at lægge filen i mapper der er tilføjet til "disallow".

Rettelse: Udtrykket "spamdexing" bruges ofte på sider der indeholder en masse irrelevant data, for at logge søgemaskinerne til sig..

Hej

Med dit sidste svar går jeg så ud fra, at Allow nu bruges bredt af søgebots.

Mht. det du skriver om spambots, bør de og andre ikke blive spærret, når der er en .htaccess og .htpasswd restriktion på sitet? Dette er lidt ekstra. Smid under alle omstændigheder et svar, så du kan runde 100.000 point! :-)

Man kan normalt ikke se forskel på en spambot og en søgemaskine, som f.eks. googlebot.

Begge er programmer/bots der automatisk indeksere sites.

Forskellen er dog nok at spambots kan finde på at ignorerer disallow i robots.txt, hvilket officielle søgemaskiner, som f.eks. Google, når ikke vil gøre.

Den "nemmeste" måde at fange spambots på, er at bruge disallow på en mappe, der indeholder en index eller default fil, som tilføjer dens IP til en blacklist-liste. Når den så loader den næste side, vil den blive blokeret da dens IP allerede er blacklistet.

Lad os håbe at de officielle søgemaskine-bots respekterer robots.txt..



100k, Here I come! :-)

Takker for points :-)