WebCrawler / Spider

Du skal vel finde alle links på siderne du crawler? Noget i stil med:

if ( preg_match_all( "#<a.*?href=[\"'](.*?)[\"'#si", $webside, $a ) )
{
  foreach ( $a[1] as $link )
  {
      // Indeksér $link
  }
}

I hvert tilfælde til at starte med ;)

Ja altså, jeg skulle helst gerne have alle sider med.

Det skulle faktisk være lidt kompliceret, for jeg skulle helst gerne have 255 karaktere med fra beskrivelsen på hjemmesiderne, samt titlen på hjemmesiden, og så selvfølgelig links, og meta keywords.

Den kode der, laver en fejl, den giver mig:

Warning: preg_match_all() [function.preg-match-all]: Compilation failed: missing terminating ] for character class at offset 22 in /customers/ewrwer.dk/werwr.dk/httpd.www/test.php on line 5

hvilket jeg ikke helt forstår...

Der må være røget noget i svinget:

if ( preg_match_all( "#<a.*?href=[\"'](.*?)[\"']#si", $webside, $a ) )
{
  foreach ( $a[1] as $link )
  {
      // Indeksér $link
  }
}

Arh ok... Burde den her ikke give et par links:

<?php

$webside = "http://www.eksperten.dk";

if ( preg_match_all( "#<a.*?href=[\"'](.*?)[\"']#si", $webside, $a ) )
{
  foreach ( $a[1] as $link )
  {
      // Indeksér $link
echo "$link<br>"; 
}
}

?>

Nej, du mangler lige et trin mellem

$webside = "http://www.eksperten.dk";

og

if ( preg_match_all( "#<a.*?href=[\"'](.*?)[\"']#si", $webside, $a ) )

... at _hente_ indholdet fra $webside - se evt. file_get_contents() :)

Okay... Jeg har nu fundet ud af hvordan jeg henter siden eksperten.dk men ikke hvordan jeg henter linkene se:

<?php

$url = "http://www.eksperten.dk";

$content=file_get_contents("$url",FALSE,NULL,0,200000);
echo $content;
?>

$url = "http://www.eksperten.dk";

$webside = file_get_contents( $url );

if ( preg_match_all( "#<a.*?href=[\"'](.*?)[\"']#si", $webside, $a ) )
{
  foreach ( $a[1] as $link )
  {
    echo "$link<br />";
  }
}

Du bør være opmærksom på absolutte og relative stier ;) Altså hvis du crawler videre på disse sider, så skal du checke om linkene starter med http:// - hvis ikke smider du lige domæne på ;)

Hej,

lige inden du skrev det havde jeg fået det til at virke så alle linksene vises..

Det problem jeg så har nu er at de viser eksempelvis:

/artikler/1245?Esession=0b0e3f847b137885710b5d479636da3e

og jeg skulle jo gerne have domæne på... altså http://www.eksperten/


Derudover kan man hente noget indhold fra siderne? altså f.eks titlen på siden mm. ?

Ja, som jeg skriver skal du checke om det er absolutte eller relative links, og selv sætte protokol og host på. Du får titlen på siden du er inde på, sådan:

$titel = '';
if ( preg_match( "#<title>(.*?)</title>#si", $webside, $m ) )
{
  $titel = $m[1];
}

Det kræver naturligvis at der ER et title-tag.

tak coder, kom med et svar :)

yessir :)