Avatar billede riversen Nybegynder
08. juni 2004 - 11:56 Der er 9 kommentarer og
1 løsning

linier i loggen - hvad er det?

nogen der har en idé om hvad det lige er for en slags trafik?

[Mon Jun 07 12:47:33 2004] [error] [client 66.237.60.72] File does not exist: /web/riversen.dk/robots.txt
[Mon Jun 07 20:57:27 2004] [error] [client 66.196.90.162] File does not exist: /web/riversen.dk/robots.txt
[Tue Jun 08 00:20:33 2004] [error] [client 65.54.164.98] File does not exist: /web/riversen.dk/robots.txt
[Tue Jun 08 01:29:23 2004] [error] [client 24.97.214.154] File does not exist: /web/riversen.dk/robots.txt
[Tue Jun 08 03:23:33 2004] [error] [client 65.54.164.96] File does not exist: /web/riversen.dk/robots.txt
[Tue Jun 08 10:26:33 2004] [error] [client 66.196.90.162] File does not exist: /web/riversen.dk/robots.txt
Avatar billede arne_v Ekspert
08. juni 2004 - 12:05 #1
En well behaved robot (for Google, Altavista eller lignende) har checket
for om du har en robots.txt med URL'er den ikke bør indexere
Avatar billede riversen Nybegynder
08. juni 2004 - 12:10 #2
tænkte nok det var sådan noget... smid et svar.
Avatar billede arne_v Ekspert
08. juni 2004 - 12:11 #3
svar
Avatar billede arne_v Ekspert
08. juni 2004 - 12:12 #4
Overvej iøvrigt om ikke du har noget som ikke skal indexers og som derfor
passende kunne excludes.
Avatar billede riversen Nybegynder
08. juni 2004 - 12:13 #5
ja, det må jeg nok hellere...

hvor meget løber sådan en robot egentlig igennem. Kan den tjekke hele strukturen på serveren ? eller hvordan fungerer det.
Avatar billede snowball Novice
08. juni 2004 - 12:16 #6
Avatar billede erikjacobsen Ekspert
09. juni 2004 - 10:06 #7
Almindeligt godt rod: læg altid en robots.txt selv om du ikke har restriktioner:

# you're welcome
User-agent: *
Disallow:
Avatar billede erikjacobsen Ekspert
09. juni 2004 - 10:06 #8
Ja, det er noget rod. Jeg mente: "Almindeligt god råd"
Avatar billede riversen Nybegynder
09. juni 2004 - 10:14 #9
ja, skulle lige til at sige, rod har jeg nok af
Avatar billede arne_v Ekspert
09. juni 2004 - 10:37 #10
En robot crawler normalt rekursivt: hent side, find alle links på siden, process
alle disse links.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Uanset kodesprog, så giver vi dig mulighederne for at udvikle det, du behøver.

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester