Sitemap og robots.txt for sub-domæne

Det skal være pr. domæne/subdomæne.

Hvis definitioner for sub.domain.tld også skulle ligge i domain.tld, så ville sådanne sites som .co.uk .co.nz .com.tw osv osv. ikke kunne eksistere.

Et subdomæne opfattes som et selvstændigt site.

Det fungerer sådan at når søgemaskinens robot finder et nyt domæne kigger den først på alt mellem http:// og så næste /

Ligger der en robots.txt, så bliver den crawlet og robotten bruger informationerne.

Du kan så som du er inde på styre robottens adfærd under de forskellige områder ved at tilbyde den individueller robots.txt under de enkelte subdomæner. Ligger der intet er det hoveddomænets robots.txt, der som regel er styrende.

Det leder så også hen til, at du skal passe på med at se subdomænet som et totalt selvstændigt site. Det er det ikke - det er et sub - altså en underdel.

Når jeg er ude at holde oplæg/foredrag om SEO plejer jeg at forklarer det som en hybrid mellem et selvstændigt domæne og så en indholdsdel/mappe under et hoveddomæne. 

Mht. hvad der er bedst - afhænger af dit behov
Skal subdomænet blot nedarve og have samme indstillinger som hoveddomænet er det nok med robots.txt under hovedomænet.

Er der særlige hensyn, så skal der oprettes robots.txt for hvert "sub".