Robots.txt
Hej,Jeg skal lige være sikker, men er det korrekt forstået at hvis jeg opretter en Robots.txt-fil, med indholdet
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /pdf/
Og lægger den i roden af websitet, så vil indholdet af mappen "pdf" ikke blive indexeret af søgemaskinerne? Og skal den øverste linje overhovedet med?
# robots.txt for http://www.example.com/
Mvh.
