Avatar billede hrole Mester
03. juli 2010 - 16:44 Der er 11 kommentarer og
1 løsning

robots.txt - ulemper og sikkerhed

Hej,

Jeg har været igang med at læse lidt om SEO og er kommet til robots.txt, som jeg hidtil ikke har været opmærksom på. Derfor er min viden på dette punkt mangelfuld. Jeg er specielt interesseret i at høre om det udgør en sikkerhedsrisiko at angive biblioteker i Disallow: eller om det er bedøvende ligegyldigt?
Avatar billede The_Buzz Novice
03. juli 2010 - 17:05 #1
Vil gerne lige overvåge denne tråd.
Avatar billede arne_v Ekspert
03. juli 2010 - 17:27 #2
Sider med fortroligt indhold bør aldrig være tilgængelige fra nettet. Det er meget dårligt sikkerhed at basere sikkerheden på at ingen kender URL'erne.

Så derfor bør disallow i robots.txt ikke forringe sikkerheden (medmindre den allerede er helt i bund og så er det vel ligemeget).
Avatar billede hrole Mester
03. juli 2010 - 17:33 #3
Ok, min umiddelbare tanke, da jeg læste om emnet, var blot om man lettere "servere" mapper for spambotter o.l.
Avatar billede hrole Mester
03. juli 2010 - 17:45 #4
Desuden om det er en fordel, ulempe eller ligegyldigt at Disallow fx mapper hvor forbindelsesindstillinger til mysqldatabaser ligger og mapper som kun kan benyttes af bruger (med login).
Avatar billede arne_v Ekspert
03. juli 2010 - 17:54 #5
Beskyt mod spam via login eller captcha.

Hvis der ikke er adgang for bots så er der ingen grund til at bruge disallow.
Avatar billede hrole Mester
03. juli 2010 - 17:59 #6
Jeg benytter login og captcha og oplever ikke problemer, så det skulle være på plads.

Men - hvis det så ikke er nødvendigt at benytte disallow, hvad skulle argumentet så være som taler for at have en robots.txt?

Og som jeg skrev i #3 - "serverer" man mapperne for bots ved at tilføje dem i Disallow?
Avatar billede lollaenderen Nybegynder
03. juli 2010 - 20:14 #7
Jeg bruger en robots.txt på et domæne for ikke at få søgemaskiner til at finde længere med.
Jeg har nogle ikke særlig hemmelige familie billeder liggende i nogle mapper to niveauer under.
Eks: domæne.dk/robots.txt og domæne.dk/mappe/billedmapper.
Så er det vist kun nørder der kan finde billederne.
Avatar billede arne_v Ekspert
03. juli 2010 - 21:48 #8
robots.txt bruges til at forhindre Google, Bing etc. i at indexere noget somd et ikke giver mening at indexere.

Den har ikke noget med sikkerhed at gøre.
Avatar billede hrole Mester
03. juli 2010 - 22:17 #9
arne_v: Du skriver den ikke har noget med sikkerhed at gøre. Det er jeg som sådan med på, men jeg tænker på om spambots mv. overhovedet ikke interesserer sig for indholdet af Disallow?
Avatar billede arne_v Ekspert
03. juli 2010 - 22:48 #10
Jeg ved ikke så meget om hvad spambots gør.

Men jeg tror ikke at de gør. De leder efter blogs, fora, tagwalls etc. hvor de kan skrive. Sådan nogen er normalt nemme at finde, fordi det er meningen at de skal findes. Så beskyttelse drejer sig om at forhindre spam i at poste ikke om at holde eksistensen hemmelig. Omvendt drejer angreb sig om hvorvidt der er huller i beskyttelsen eller ej. Det virker som totalt spild af tid for en spambot at checke robots.txt !
Avatar billede hrole Mester
03. juli 2010 - 23:11 #11
Tak for svar. Smid svar for point.
Avatar billede arne_v Ekspert
03. juli 2010 - 23:32 #12
svar
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester