Hvordan dæmmer man bedst op for 'bots' på sin hjemmeside?

Det vil jeg tro er muligt uden noget sessions noget for de identificer sig med user agent string - det vil sige man kan sende response 404 eller andet på identificerede bot requests, og iøvrigt sikre sig at 'directoty listning' ikke er aktiv - for så vil bots request kun kan prøve almindeligt forekommende defaults som index eller default eller /.
Så er der lige det med at identificere bots på deres navn - det skal nok kigges lidt i logfiler og tilpasses løbende.
Da problematikken ikke er ukendt er der også standardicerede 'nej tak' måder - det må ai prompts uddybe.

Udmærket - jeg tænkte nok der var masser af muligheder.

Jeg vil finde lidt flere oplysninger om nogle af de udtryk du nævner.

Tak for dit svar.

Du kan ekskluderer bots adgang i din htaccess fil (hvis du er på apache)

Tak for jeres kommentarer.

Mit spørgsmål udspringer faktisk af, at jeg er lidt træt af at DR er begyndt at kræve login på deres hjemmeside for at se online-indholdet på DRTV. Jeg finder det helt unødvendigt, men de påstår at personligt login er for at forhindre at 'bots' tilgår indholdet.

Og det tror jeg ikke helt på.

Nu VED jeg det ikke - det er rent gætteri. Men jeg vil tro at DR er pålagt ret høje krav til hvem der kan tilgå det gratis indhold - de har jo en del film og serier liggende, der ikke er spor gratis for DR at stille til rådighed, foruden at meget af det egenproducerede materiale er produceret under licens.
De har købt licens til brug for danskere i Danmark.
Derfor har de brug for at kunne styre at det ikke er frit tilgængeligt for alle i hele verden.
Den første kontrol ville være om man kommer fra en dansk IP adresse, og så sparke alle ud der ikke gør. Men som licenshaver ville jeg ikke være tilfreds med sådan en løsning - alle med adgang til VPN ville kunne "snyde"... - og i øvrigt vil danskere på udenlandsophold ikke kunne tilgå materialet heller...

Jeg tror derfor at brugerkonti er med til at løse den problematik der ligger i at administrere licenserne. På brugerprofilen kan man med MitID bekræfte at man har adresse i Danmark, og dermed få adgang fra en udenlandsk IP adresse.

Men alle i Danmark er stadig i stand til at oprette et login, og så sætte en bot i gang fra deres PC, så den del tror jeg ikke på... Det er primært licenskontrol - men det ville jo samtidig være overvågning, så det kan de ikke skrive direkte...