om søgerobotter
Blot et enkelt spørgsmål om hvordan en søgerobot indexerer en hjemmeside:Går den frem via forsiden indtil den har fulgt alle interne links, eller kan den indexere sider, hvor der ikke er oprettet links til?
Svar gerne med begrundelse.
