24. april 2005 - 14:33Der er
21 kommentarer og 2 løsninger
Robots.txt og søgemaskiner generelt
Hej :-)
Jeg har luret lidt på de mange indlæg der omhandler robots.txt og søgemaskiner, og har i den forbindelse nogle uafklarede punkter.
- Kan man via robots.txt forhindre (de godartede) søgemaskiner i at gå længere ind i ens filstruktur; F.eks. har jeg alle mine relevante websider liggende i roden af mit webhotel, men har også nogle mapper med filer (og admin), jeg ikke selv mener har relevans for en søgemaskine. Kan man f.eks. forhindre søgerobotterne i at gå længere end til roden af websitet, uden at skulle specificere de enkelte filer i robots.txt?
- Vil denne fremgangsmetode give en lavere placering hos f.eks. Google end hvis jeg tillader søgemaskiner at besøge hele websitet?
- Finder søgerobotterne frem til mapper eller filer i mapper som jeg ikke linker til på nettet?
(Jeg er ikke sikker på, at spørgsmålet er oprettet i den rette kategori, så giv mig lige et hint hvis jeg er gået helt galt i byen ;-) )
Støv, fibre og metalliske partikler kan påvirke både uptime, levetid og driftssikkerhed. Derfor arbejder flere datacentre systematisk med contamination control.
Kalp > Da jeg blandt andet er interesseret i, at holde en bestemt mappe med admin-filer væk fra søgerobotterne (især de ondsindede) vil jeg netop undgå at linke til mappen og indholdet via robots.txt ;-)
Inden i bruger for meget krudt på at komme med svar jeg allerede kender... :-)
Punkt 1: Hvordan forhindrer man en robot i at besøge alt andet end ASP-, HTM-, HTML-sider i rodbiblioteket; Uden at skulle angive de 'hemmelige' sider i robots.txt
Hvis du bruger almindelige navne vil en ondsindet robot kunne finde f.eks. en index.htm(l), hvis den kender mappe-navnet, men det er fysisk umuligt at gennemgå samtlige mulige kombinationer af navne på sider med mindre man sætter dedikeret ind på at pille et bestemt site ad ...
Roenving > Okay, det skal jeg så ikke bekymre mig om kan jeg læse (Mappen hvor mine admin-filer ligger er relativt uforudsigeligt navngivet, og desuden er filerne beskyttet af adgangskontrol med sessions).
Jeg fik de svar jeg havde brug for, smid Jeres svar så jeg kan give points :-)
Pointfordeling: Roenving gav mig svarene på de to punkter, og Kalp gav mig svaret på det ene punkt. Derfor har jeg fordelt pointene så 5 points repræsenterer et punkt (10 points til Roenving og 5 points til Kalp).
Espersen > Har allerede læst den. Det er selvfølgelig også en mulighed, at lave en 'Bot-trap' blot for at gøre livet surt for de Bot'er der ikke respekterer robots.txt o<|:-D
Apo
Synes godt om
Ny brugerNybegynder
Din løsning...
Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.
