Langt størsteparten af indholdet på Internet er "usynligt" for søgemaskiner som AltaVista og Google. Nettet består af flere end 550 milliarder dokumenter, men selv de største og mest omfangsrige søgemaskiner kender ikke flere end 1,4 milliarder, altså mindre end 1 procent.
Problemet skyldes at de fleste informationer ikke længere gemmes som web-filer, men ligger i gigantiske databaser. Mange Internet-tjenester - f.eks. ComON - bruger ikke statiske dokumenter, men genererer automatisk alle sider, når de kaldes. ComONs database indeholder over 7.400 artikler, som ikke kan indekseres af en almindelig søgemaskine.
Danny Sullivan fra "Search Engine Watch" beskriver problemet på følgende måde: "Dynamisk genererede sider eksisterer slet ikke, så længe brugeren ikke har kaldt dem". Søgemaskinernes Internet-robotter har ingen mulighed for at indeksere indhold, der ligger i sådanne dynamiske publikations-systemer.
Det "usynlige Internet" eller "Nettets dybhav" kaldes den enorme informationsmængde, som ligger skjult bag teknologier som ColdFusion og Microsofts ASP, der serverer dynamisk indhold fra databaser.
Firmaet BrightPlanet i USA forsøger at løse problemet med en speciel web-gateway, som gør det muligt at søge i mere end 200.000 databaser. Ifølge BrightPlanet er det "dybe" Internet 500 gange større end "overflade-Internet".
(Kilde: Futurezone/CNN)
