Avatar billede heenet Novice
13. marts 2006 - 19:03 Der er 10 kommentarer og
1 løsning

HTTP_USER_AGENT: Genkende søgerobot?

Er der en nem måde at skelne brugere fra programmer, såsom søgerobotter, fra hinanden, når man registrerer HTTP_USER_AGENT?

Hvordan tolker man nedenstående HTTP_USER_AGENT data:

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461)"

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; .NET CLR 1.1.4322)"

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; .NET CLR 1.1.4322; InfoPath.1)"

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; Hotbar 4.6.1)"

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1)"

Grunden til at netopp nævner disse 5 ud af mange, så er det, at de alle er kommet på samme IP, og der har været urealitisk mange hits fra netop den IP.

Søgerobotter kan de altid ses på denne måde:

Googlebot/2.1 ( http://www.google.com/bot.html)
..eller
msnbot/0.9 ( http://search.msn.com/msnbot.htm)

Og hvad er disse:

Huhndisplay/8.1(Apple X)
ia_archiver
ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html)

Kan man bestemmer Windows versionen ud fra dette?
Med det mener jeg, at der en del som indeholder "Windows 98", men ingen hvor der står "Windows XP".
Kan dette bestemmes ud fra om der står Windows NT 4.0, 5.0 eller 5.1?

Tillægsspørgsmål:
Der er mange som ikke har nogen værdi i HTTP_ACCEPT_LANGUAGE, men så har den gemt i HTTP_USER_AGENT, hvilket er lidt irriterende, men den HTTP_USER_AGENT herunder har hverken sprog det ene eller det andet sted:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; iOpus-I-M)

Hvad er det?

Lidt mange spørgsmål, som måske er lidt rodet, men kort og godt, så har alt vedrørende tydning af HTTP_USER_AGENT interesse...
Avatar billede arne_v Ekspert
13. marts 2006 - 19:10 #1
5.0 = win 2000
5.1 = win xp
Avatar billede arne_v Ekspert
13. marts 2006 - 19:12 #2
Mozilla/4.0 (compatible; MSIE 6.0;

betyder Internet Explorer 6.0 *eller* et program som vil ligne den
Avatar billede arne_v Ekspert
13. marts 2006 - 19:12 #3
.NET CLR 1.1.4322

betyder at der er installeret .NET 1.1 paa PC'en *eller* et program som vil se saadan ud
Avatar billede arne_v Ekspert
13. marts 2006 - 19:13 #4
naar der staar crawler eller bot i en URL saa kan di godt regne med
at det er en soegemaskine
Avatar billede bufferzone Praktikant
13. marts 2006 - 19:15 #5
Der findes et hav af forskellige botter, nogle af dem harmløse andre høster forskellige ting, f.eks. e-mail adresser til spam og andet.

Der findes ingen komplet liste, men på http://www.webmasterworld.com/robots3 lan du finde en robots.txt der banner en stor del af dem
Avatar billede arne_v Ekspert
13. marts 2006 - 19:17 #6
er det ikke spild af tid ?

de gode botter som man ikke har noget imod overholder sikkert robots.txt

men de grimme botter (email adresser indsamlig til spam f.eks.) tror jeg ikke
overholder den konvention
Avatar billede heenet Novice
13. marts 2006 - 19:38 #7
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; .NET CLR 1.1.4322)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; .NET CLR 1.1.4322; InfoPath.1)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; T312461; Hotbar 4.6.1)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1)

Disse 5 kommer alle fra samme IP, som jeg har haft urealistisk mange hits fra.
Ved du hvad T312461, Hotbar og InfoPath betyder?

Jeg har en anden IP, som jeg også får mange hits fra. Den IP har 37 forskellige HTTP_USER_AGENT, så jeg nøjes med en af dem med mest kød på:

Mozilla/4.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1; QXW03406; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)

Her går jeg ud fra at QXW03406 svarer til T312461 fra første eksempel.
AOL er det en browser, eller?
Jeg kan se at 1 af de 37 ikke har data i HTTP_ACCEPT_LANGUAGE?

Kan der være tale om firmaer, som selvfølgelig har samme eksterne IP, eller er der noget suspect i dette?

Det var jo lige pludselig en masse oveni, så det kunne være fedt, hvis du ved noget om det, men hvis ikke så bare send et svar, så jeg kan give dig point :-)
Avatar billede arne_v Ekspert
13. marts 2006 - 19:49 #8
jeg tror at InfoPath er et eller andet software

HotBar kunnbe vaere en toolbar - enten godartet eller slem

hvis den side bruges af mange PC'ere bbag en firewall saa vil du se alle hits
som kommende fra IP adressen paa firewallens yderside

firma eller skole eller ....
Avatar billede heenet Novice
13. marts 2006 - 22:34 #9
Jeg skrev lige en halv novelle, og så forsvandt lor... bare da jeg trykkede send....
Men hvis arne gider sende et svar, så ska jeg sende nogle point :-)
PS: Tak for input'et, Buffer...
Avatar billede arne_v Ekspert
14. marts 2006 - 04:23 #10
ok
Avatar billede bufferzone Praktikant
14. marts 2006 - 09:22 #11
velbekommen vend bare tilbage hvis du har behov for flere oplysninger, jeg kan finde mere omfattende lister end den robots.txt fra linkst (samme site har et forum der kun beskæftiger sig med botter)
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester