Avatar billede mergelspir Mester
28. september 2021 - 15:17 Der er 2 kommentarer

Sitemap-generator der overholder robots.txt ?!?

Jeg har to sites: et dansk og et non-dansk.
Begge sites har det samme indhold og kan læses på de samme sprog, men jeg ønsker kun sitemap på det danske site på dansk, hvorimod det non-danske site skal have et sitemap på alle andre sprog end dansk.
På den måde undgår jeg at Google straffer duplicate content.

Jeg har specificeret i robots.txt, hvilke sider søgemaskiner må indeksere.
MEN, Men, men, alle de sitemap-generatorer, jeg har afprøvet, overholder ikke de regler, jeg har sat op i robots.txt, suk.

Ikke for at reklamere for mine sites, men det er måske lettere at forstå, hvad jeg beskriver, hvis I har mulighed for at tilgå sitene:
Det danske site: www.udkik.dk
Det non-danske site: www.yachtdatabase.com

På forhånd tak
Avatar billede claes57 Ekspert
28. september 2021 - 19:27 #1
Der ligger vel en forskellig robots.txt på de to sites - så er der ingen grund til at sætte regler op - de blandes ikke. Det er kun, hvis de peger ned på samme domæne, at der går ged i den, så lad være med det.
Avatar billede mergelspir Mester
09. oktober 2021 - 13:35 #2
Ja, der er forskellig robots.txt på de to sites, men da en sitemap-generator kun kikker på et af sitene af gangen, er det uden betydning.
Problemet er, at jeg ikke har kunnet finde en sitemap-generator, der "adlyder" robots.txt overhovedet.
Hvis nogle kender sådan en, er jeg meget interesseret.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester





CIO
Stort CIO-interview: Lemvigh-Müllers milliard-omsætning er blevet digital