Hvis siden indeholder fx. emails m.v. så skal du være opmærksom på at langt fra alle søgemaskiner og mailrobots overholder hvad der er anført under META.
Se evt "Skjul din e-mail adresse for spam-robotter":
http://html.dk/artikler/00041/spamrobotterne acceptere langtfra sikkert din robots.txt på dit website ; derfor se denne artikel her på exp til ASP-sider :
http://www.eksperten.dk/artikler/253som er en "oversættelse" af en artikel skrevet til PHP :
http://www.kloth.net/internet/bottrap.phpDet smarte er at spamrobotterne jo bør og skal anerkende robots.txt - og sålænge de gør det så ryger de ikke i fælden. I robots-txt er det anført at de IKKE skal læse siderne med spam-fælden - gør de alligevel det så aflæser den IP adressen på robotten og banner den totalt fra dine sider)
(jeg har dog ikke selv fået dette sat op på mit site.... endnu)