Søgerobot - problem

Hvis du tjekker links'ne med ASPhttp, så får du returneret header-koden 500 (Internal Server Error) direkte til dit script i stedet for at blive kastet hen til MSN-Search.

Se evt. http://www.html.dk/scripts/asp/00009/

Det har jeg implementeret i den, med din hjælp :-)

Problemet er, at den kun returnerer en header-kode 500 hvis domænet findes, men den ikke kan finde den præcise url.

Eksempel:
1. Min robot tjekker linket http://toflo.dk/default.asp. Ingen problemer.

2. Min robot tjekker linket http://toflo.dk/findesikke.asp. Returnerer header-kode 500.

3. Min robot tjekker linket http://balladelink.dk. Robotten stopper, da der ikke er noget domæne der hedder dette. Der returneres ikke nogen header-kode 500.

Det er i situation 3 at mit problem ligger.

*.Response skulle gerne returnere "404", hvis siden ikke findes. Fungerer det ikke??

Set HTTPObj = Server.CreateObject("AspHTTP.Conn")
HTTPObj.Url = "http://balladelink.dk"
HTTPObj.GetURL
If InStr(HTTPObj.Response, "404") > 0 Then
  Response.Write "Siden findes ikke!"
Else
  Response.Write Server.HTMLencode(HTTPObj.GetURL)
End If
Set HTTPObj = Nothing

Jeg har vrøvlet lidt.

I mine eksempler mener jeg header-kode 404, og IKKE 500.

Okay, men hvad returneres der så?

Set HTTPObj = Server.CreateObject("AspHTTP.Conn")
HTTPObj.Url = "http://balladelink.dk"
HTTPObj.GetURL
Response.Write HTTPObj.Response

Intet, dvs. jeg får en blank hvid side.

Ahhhhh....

Jeg skal selvfølgelig teste for HTTPObj.Response=""

:-))

Tror det virker.

Ja, for et eller andet får du jo returneret, hvis siden ikke findes.

Ok, så har vi fået ryddet de sider af vejen, og pointene skal du nok få.

Hvad så med:

Set HTTPObj = Server.CreateObject("AspHTTP.Conn")
HTTPObj.Url = "http://download.adobe.com/pub/adobe/acrobatreader/mac/5.x/rsme505heb.sit"
HTTPObj.GetURL
Response.Write HTTPObj.Response

Fildownload... hmm... Hvad returnerer HTTPObj.Response i det tilfælde?

Ingenting tilsyneladende. Når man kører ovenstående kode står siden bare og prøver at åbne. Ingen respons før der er en timeout.

Mit umiddelbare foreslag er, at du laver dig en funktion, der tjekker filtypen ud fra filnavnet efter en evt. skråstreg og angiver, hvilke der skal undersøges.

Function FileExtOK(Link)
  Arr_Link = Split(Replace(Link, "http://", ""), "/")
  If UBound(Arr_Link) > 0 Then
      Arr_Exts = Array(".htm", ".html", ".asp", ".aspx", ".php", ".php3", ".swv", ".swf")
      For i = 0 To UBound(Arr_Exts)
        If LCase(Right(Arr_Link(UBound(Arr_Link)), Len(Arr_Exts(i)))) = Arr_Exts(i) Or InStr(Arr_Link(UBound(Arr_Link)), ".") = 0 Then
            FileExtOK = True
            Exit For
        End If
      Next
  Else
      FileExtOK = True
  End If
End Function

If FileExtOK("http://www.babes.com/") Then
  Response.Write "Linket er gyldigt - hent kildekode!"
End If