Hvad er www.robotstxt.org

ogvordan=og hvordan

det ligner en hjemmeside der ikke er bygget færtig

Men handler om robotter..  Læs teksten, det plejer at  hjælpe

web spiders

nice

http://www.robotstxt.org/wc/faq.html

det er et program du f.eks. starter fra din maskine til at søge webet efter noget du vil have.

Du kunne f.eks. sætte den til at søge efter en fil med en bestemt størelse og filnavn.

Brixz -> Ikke for at nedgøre dig, men det er ikke korrekt at "det er et program du starter fra din maskine"! Web-spiders er søge-robotter som leder HELE internettet igennem for hjemmesider, og tilføjer dem til alverdens søgemaskiner! Disse robotter er også skyld i, at du når du opbygger en hjemmeside og smider den på nettet, får en hel***** masse SPAM og junk-mail, hvilket selvfølgelig er træls! Dog har jeg fundet et script som kan undværge dette, ved at dele ens email-adresse som man ønsker at tilføje, op i små-bidder som robotten IKKE kan finde ud af at opfange, grundet scriptet!

Scriptet hedder Escrampler og kan findes: http://innerpeace.org/download.shtml