Du har misforstået, hvad
robots.txt gør.
Web crawlers er computere, der er sat op til at søge på internettet efter specifikke sider og gemme referencer til dem baseret på indhold. Det er på den måde, at Googles indeks fungerer. Når du søger på Google, så kigger deres server i en kæmpe database over alle de hjemmesider, som deres
web crawlers har besøgt.
Det
robots.txt gør er at fortælle disse
web crawlers, hvad man helst ikke ser indekseret. Hvis du fx har en privatmappe eller lignende, som du ikke umiddelbart ønsker at man skal kunne finde via Google, så sætter du stien til denne mappe i
robots.txt.
Som eksempel kan du kigge på
Ekspertens robots.txt, hvori du finder ting som fx
Disallow: /cgi-bin/, hvilket betyder, at når en søgemaskines
web crawlers besøger siden, så springer de (forhåbentlig) disse mappe over.
