Lave sin egen web crawler?

Ja, den kan laves i php.

her er en meget lille grow en:

<?php

$websted = "http://www.w3.org/";

function laesfil( $url ) {
    $fildata = file( $websted );
    // gennemlæs filen og aflæs metatags osv osv.
    for ( $i=0; i<count($fildata); $i++ ) {
        $temp = "";
        $liste = eregi_replace( "/.*href=['\"]([^'\"]+)['\"].*/",
                                "$tmp,//1",
                                $fildata[$i] );
        $liste = substr( $liste, 1 ); // fjern allerforreste komma.
        $listearray = explode( ",", $liste );
        for ( $j=0; $j<count($listearray); $j++ ) {
            laesfil( $lisetearray[$j];      // følg alle links i siden og læs dem også
        }
    }

laesfil( $websted );

?>

ovenstående er kun et eksempel, og det får det til at se nemt ud.
    DET ER IKKE NEMT
Der er tusinder af undtagelser der skal tages højde for:
  Hvad med døde links? skal scriptet bare dø.
  hvad med links der går i cirkel (dit websted peger på mit og mit peger tilbage) der skal noget hukommelse til så du ikke besøger samme side 2 gange
  Hvad med din udbyder. tillader han overhovedet at du sådan lader et script stå og gnave i dagevis (de fleste har en timeout på ca 30 sekunder)
  hvad med sære links (til fx pdf-filer, billeder og lyd).
  ...

mvh JakobA

På www.webmasterworld.com findes nettets bedste kilder til iformationer om de forskellige søgemaskiner, herunder et special forum til udvikling af egne søgemaskiner og robotter. Læs de forskellige fora igennem og stil spørgsmål der, jeg er sikker på at du kan finde alle de svar du søger og mere tis.

Medmindre du specielt er meget interesseret i at kode
en crawler, så brug lynx browseren til at crawle med. I crawl
mode smider den alle siderne på disk og så kan man indeksere
dem der.

Hvis du skal kode det selv ville jeg vælge et sprog som C/C++/C#Java.

Jeg smutter lige på weekend og kigger på diverse svar når jeg er tilbage til noget internet....
tak for svarene indtil videre.

Jeg takker for hjælpen og prøver begge løsninger af.