Størrelse er ikke det vigtigste, når det gælder Internettets søgemaskiner. En undersøgelse, som blev offentliggjort i fagbladet Nature tidligere på året, viste at søgemaskinerne ikke kan følge med Internettets enorme vækst. Men undersøgelsen, som blev gennemført af Dr. Steve Lawrence og Dr. C. Lee Giles fra det amerikanske NEC Research Institute i Princeton, bliver nu kritiseret for at stille søgemaskinerne i et forkert lys. Forskerne gennemførte en lignende undersøgelse i 1998, som blev offentliggjort i fagbladet Science, og konkluderer ved at sammenligne resultaterne, at søgemaskinerne er blevet dårligere til at indeksere web-sider.
Men det er måske kun den halve sandhed. I det anerkendte Internet-nyhedsbrev Search Engine Report kritiseres forskerne, fordi de har anvendt forskellige målemetoder til optælling af nettets størrelse i den første og anden undersøgelse.
Internettets størrelse
I den seneste undersøgelse har forskerne fra NEC Research Institute brugt forskellige teknikker til at tælle det totale antal servere på Internettet (2.8 millioner). Derefter har de regnet sig frem til, at der i gennemsnit ligger 289 sider på hver server. Resultatet er, at nettet må indeholde omkring 800 mio. sider. I deres første undersøgelse benyttede forskerne helt andre metoder, og der stilles derfor spørgsmålstegn ved, om resultaterne kan sammenlignes. Mikkel Svendsen, som er moderator hos det amerikanske Search Engine Forums og forfatter til en kommende bog om søgemaskiner, kritiserer også undersøgelsen.
"Det er temmelig uvidenskabeligt at forholde sig til to resultater der ikke er opnået efter samme principper. Således kan alle tal, der forholder sig til forskellen mellem strøelsen på nettet i den gamle undersøgelse og den nye ikke bruges til så meget. De konklusioner der fortæller, at søgemaskinerne er blevet meget dårligere til at indeksere nettet er ikke nødvendigvis korrekte," siger Mikkel Svendsen.
Han erkender dog, at søgemaskinerne muligvis er blevet dårligere til at indeksere nettet. Men det egentlige spørgsmål er ikke, hvor stor en del af nettet der er indekseret, men hvilken del der er, mener han. Det hjælper ikke at indeksere flere sider, hvis de ikke er relevante, ligesom det heller ikke vil gøre søgemaskinerne bedre.
"Vil det hjælpe den almindelige Net-bruger at han i stedet for 2.365.000 resultater på en søgning i AltaVista på f.eks. "rock music" får 23.965.000 resultater? Svaret er nej," siger Mikkel Svendsen.
Undersøgelsen kritiseres for at være uvidenskabelig, og skabe unødvendig forvirring i en tid, hvor relevans snarere end størrelse er i centrum. Ideen om at det er muligt at samle hele nettet i samme søgemaskine holder ikke, mener Mikkel Svendsen.
"Vi kommer ikke til at se søgemaskiner der har hele Internettet indekseret i en enkel database - i hvert fald ikke foreløbigt. Investeringerne til en så stor udvidelse af databaser og serverkrafter vil blive så voldsomme, at de aldrig kan forsvares alene med den reklameeffekt det giver søgemaskinerne at være størst. Specielt når der yderligere ses på, at en sådan total indeksering af Nettet i praksis vil gøre søgemaskinerne ringere end i dag, til det de skal gøre: nemlig at finde relevante sider frem til brugerne," siger han.
Relevans
Det vigtigste spørgsmål er derfor ikke databasens størrelse - altså det totale antal web-sider, som er indekseret - men de søgemetoder, som benyttes til at finde relevante resultater. Hvad nytter det, hvis man kan søge i en database med 150 mio. sider, men kun får ubrugelige resultater - eller, endnu værre, skal klikke sig gennem hundredevis af resultater, inden man finder det ønskede? Lige siden de første Internet-søgemaskiner har der været en konflikt mellem hjemmeside-ejerne - som naturligvis ønsker, at deres side skal stå øverst, når man søger på et bestemt søgeord - og firmaerne bag søgeprogrammerne, som forsøger at holde den nøjagtige funktionsmåde hemmelig.
Men det varer sjældent ret længe, før nye søgeprogrammer bliver "knækket", dvs. smarte programmører funder ud af, hvad man skal gøre, for at sikre sig en top-placering i resultat-listen. Flere nyetablerede danske firmaer arbejder kun med at "positionere" web-steder så godt som muligt på internationale søgemaskiner som Lycos og AltaVista. En god placering - altså, at siden fremkommer som nr. 1 eller 2, når man søger på et populært søgeord - kan være millioner værd.
"Søgemaskinernes kamp for at sikre relevante resultater er i konstant udfordring fra folk som undertegnede, der beskæftiger sig med aktiv søgemaskine positionering. Det er et "håndværk" der har til formål at sikre websider lige præcis den placering jeg ønsker ved brug af lige præcis de søgeord jeg har besluttet mig for," siger Mikkel Svendsen.
Robotter, der automatisk læser websider, og programmer, der automatisk forholder sig til sidernes indhold når der søges, er konstrueret ud fra et sæt af parametre, der bestemmer hvor relevant siden vurderes til at være. Hvis man kender disse parametre kan de manipuleres. Hvis man er dygtig, og kender både robotterne og de andre faktorer der afgører relevans, kan man placerer sine sider lige præcis der hvor man vil, mener han.
Selv nye søgeprogrammer som Google kan manipuleres eller "knækkes". Google benytter antallet af links, som peger på en side, til at afgøre, hvor den skal placeres i resultat-listen. "Jeg kender personligt til et par projekter med kæmpe store automatiserede linkudvekslingsprogrammer der meget snart vil betyde at tusindvis af mere eller mindre ubetydelige websites vil have flere links til deres sider end de mest populære steder på nettet. Og så er linkpopulariteten død," fortæller Mikkel Svendsen.
Han mener, at aktive søgemaskine-specialister vil blive ved med at "snyde" søgemaskinerne. "Det er en evig kamp. Frem og tilbage. Hver gang søgemaskinerne finder på noget nyt, vil søgemaskine specialisterne forsøge at komme uden om det," mener Mikkel Svendsen. Det amerikanske SearchEngineForums, hvor han er moderator, har omkring 250.000 brugere. Mange af dem er meget dygtige, og de vil være i stand til at manipulere resultaterne i søgemaskinerne mange år frem, mener han.
Men søgemaskine-specialisterne er ikke hensynsløse hacker-typer. "Et langt stykke hen ad vejen er aktiv søgemaskine positionering ikke i konflikt med søgemaskinernes interesser. En stor del af håndværket handler om at konstruere sine websider på sådan måde at søgemaskinerne kan læse dem med deres automatiske robotter. Og det er søgemaskinerne naturligvis glade for. I NEC undersøgelsen blev det i øvrigt også konkluderet at kun en meget lille del af det samlede antal sider på nettet har korrekt udførte header-informationer, hvilket er nødvendigt for at robotterne kan læse siderne," forklarer Mikkel Svendsen.
Han indrømmer dog, at nogle lidt for ivrige specialister går over stregen og forsøger at få deres sider placeret højt i resultaterne, når der søges med ord som intet har med indholdet at gøre.
Kapløbet mellem søgemaskiner og søge-specialister betyder, at der hele tiden udvikles nye søgeteknologier. Dagens metoder vil snart miste deres betydning til fordel for andre og nye, som igen bliver overhalet af teknologien inden længe. Et evigt kapløb mellem programmører og brugere.
