30. december 2001 - 23:12Der er
7 kommentarer og 1 løsning
Søgemaskiner
Hej,
Jeg har fået sådan en som sladrer når nogen enten prøver at finde en side som ikke findes eller de ikke har adgang til den. Der kom så en mail om at der var noget der ledte efter robots.txt, hvad er det og hvad skal der stå i filen ???
Der bliver investeret massivt i AI. Teknologien er mere tilgængelig end nogensinde, og ambitionerne er høje. Alligevel oplever mange virksomheder, at resultaterne udebliver.
Kan ikke lige pt. huske hvad der skal stå i filen ;( Men hvis du nu går ind på Google.com og søger på din hjemmeside vil alle dine sidder blive linket op derinde, og robots.txt går ind og genere søgeroboten, så den ikke finder alle dine sidder! =)
Hvis jeg nu kun vil have at de skal indexere min index.php men ikke resten da jeg tit har endnu flere filer liggende end jeg bruger(Test filer + diverse), skal jeg så lave en fil der hedder:
User-agent: * Disallow: / allow: /index.php
eller hva\' det er mere fordi alle de sider jeg har kigget på står der kun Disallow !!!!
Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.