Avatar billede cyigen Nybegynder
29. maj 2000 - 16:07 Der er 5 kommentarer og
1 løsning

Lave stor script om!!

Er der nogen der vil lave denne script om til mig?

Det den kan nu det er at den kan finde asp, html, htm filer fra nogle bestemte mapper som jeg angiver i en formular!
Det jeg gærne vil have den til er at den skal kunne finde f.eks hvis jeg skrive

http://home.inet.tele/

så vil jeg gærne have at den finder alle de sider der er under den mappe også tildøjer den linkene til min database er der nogle der kan hjælpe mig med det?

Altså den skal kunne finde nsæten alle sider på nettet og putte dem ind i min database!!


Og
Den må også meget gærne finde
.dk
domænenavne!!
f.eks hvis jeg siger den bare skal finde alt under

http://
så finder den bare alle sider under dk domænenavne!!
Eller jeg tror ikke det kan lade sig gøre men skig med det hvis i ikke kan



her kommer scriptet som der skal ændres i:
________________________________________



<%Option Explicit
Response.Buffer = True
'********************
'FileCrawler V 1.0  *
'Made By Henning Yde*
'hyde@hvidesande.dk *
'********************
%>
<HTML>
<HEAD>
<META HTTP-EQUIV="Cache-Control" CONTENT="no-store">
<META HTTP-EQUIV="Pragma" CONTENT="no-cache">
<LINK href="sider.css" media=screen rel=stylesheet type=text/css>
<script language="JavaScript">
var fejltekst="", konto;
function checkTekstfelt(tekstfelt)
{
  if (tekstfelt.value == "")
  {
    return false;
  }
  else
  {
    return true;
  }
}


function isSelect(elm)
  {
  if (elm.selectedIndex == 0 || elm.selectedIndex == 1) 
    {
      if (document.liste.startUrl.value == "" )
      {
      fejltekst += "Angiv Url til mappen\n";marker(0,6);
      return false; 
      }   
      else
      {
      return true;
      }
    }
   
  if (elm.selectedIndex == 2 ) 
    {
      if (document.liste.defaultSide.value == "")
      {
      fejltekst += "Angiv Url til default siden\n";marker(0,7)
      return false; 
      }   
      else
      {
      return true;
      }
    }
     
  }

 

function test()
{
 
  if (!checkTekstfelt(document.liste.startMappe)) {fejltekst = "Start mappen er ikke udfyldt\n"; marker(0,0)}
  if (!isSelect(document.liste.startLink)) {fejltekst += "\n\nMANGLENDE INDTASTNING\n";}
 
 
 
   
  if (fejltekst != "")
  {
    alert(fejltekst);
    fejltekst = "";
    return false;
  }
  else
  {
  return true;
  }
}

function marker(x,y)
{
document.forms[x].elements[y].focus()
document.forms[x].elements[y].select()
}
</script>
</HEAD>
<BODY onLoad="marker(0,0)">
<%
Dim mode
mode = ""
medUnderscore_ch = "checked"
htm_ch = "checked"
html_ch = "checked"
asp_ch = "checked"
side_sel = "selected"
If Request.ServerVariables("REQUEST_METHOD") = "POST" Then
'valg hvis mappen findes
If Request.Form("R1") = "V1" Then
Response.Redirect "crawler.asp"
End If

If Request.Form("R1") = "V2" Then
'slet alle poster
mode = "slet"
End If

If Request.Form("R1") = "V3" Then
'slet og opdater
mode = "slet"
End If


findDefault = False
Dim startMappe, taellerTilfoej, taellerOp, tempsti, startUrl, tempurl
Dim mappeArray (),urlArray(), tael, filIndhold, defaultSide,filTaeller
Dim f1, fs, f, fc, s,filesys,txtfile,line, findDefault,medUnderscore
Dim startBody,slutBody,findBody, chekBody,filBesk,filTitle,startLink
Dim htm,html,asp, id, antal,tekst_over,res
Dim medUnderscore_ch, htm_ch, html_ch, asp_ch, notat
Dim side_sel, defMappe_sel, findDefault_sel, urlListe, tekst, tid

'tjek om der skal vises liste
If Not Request.Form("visMappe") = "" Then
startMappe = Request.Form("visMappe")
Else
startMappe = Request.Form("startMappe")
End If

startUrl = Request.Form("startUrl")
medUnderscore = Request.Form("medUnderscore")
notat = Request.Form("notat")


filTaeller = 0
htm = ""
html = ""
asp = ""
'finder hvilke filtyper der skal med
If Request.Form("htm") = "ON" Then
htm = ".htm"
End If
If Request.Form("html") = "ON" Then
html = "html"
End If
If Request.Form("asp") = "ON" Then
asp = ".asp"
End If

startLink = Request.Form("startLink")
'hvad skal url til siden være
If startLink = "findDefault" Then
'default sider i mapperne
findDefault = True
defaultSide = ""
ElseIf startLink = "side" Then
'siden selv
findDefault = False
defaultSide = ""
ElseIf startLink = "defMappe" Then
'forud defineret side
findDefault = False
defaultSide = Request.Form("defaultSide")
End If
'--------------------------------------------------------------------
Dim conn, SQL,RS,mappeId,startDef
Set Conn = Server.CreateObject("ADODB.Connection")
conn.Open "DBQ="&(Server.MapPath(".")) &"\crawlerDb.mdb; DefaultDir=DBQ="&(Server.MapPath(".")) &"\;Driver={Microsoft Access Driver (*.mdb)};"
'sletter mappe og filer i database
If mode = "slet" Then
SQL = "DELETE FROM filIndhold WHERE mappeId = " & Request.Form("id")
Set RS = conn.Execute(SQL)
SQL = "DELETE FROM mapper WHERE id = " & Request.Form("id")
Set RS = conn.Execute(SQL)
  If Request.Form("R1") = "V2" Then
  Response.Redirect "crawler.asp"
  End If
End If

'ser om mappen er tilføjet i db'en
SQL = "SELECT * FROM mapper WHERE startMappe = '" & startMappe & "'"
Set RS = conn.Execute(SQL)
'hvis ja, finder values til form
If Not RS.EOF Then
mappeId = RS("id")
startMappe = RS("startMappe")
startUrl = RS("startUrl")
defaultSide = RS("defaultSide")
tid = RS("dato")
notat = RS("notat")
If RS("medUnderscore") = "ON" Then
  medUnderscore_ch = "checked"
Else
  medUnderscore_ch = ""
End If

If RS("htm") = ".htm" Then
  htm_ch = "checked"
Else
  htm_ch = ""
End If

If RS("html") = "html" Then
  html_ch = "checked"
Else
  html_ch = ""
End If

If RS("asp") = ".asp" Then
  asp_ch = "checked"
Else
  asp_ch = ""
End If

StartLink = RS("startLink")
If startLink = "findDefault" Then
  findDefault_sel = "selected"
ElseIf startLink = "side" Then
  side_sel = "selected"
ElseIf startLink = "defMappe" Then
  defMappe_sel = "selected"
End If
'tæller antal filer fra mappen
SQL = "SELECT Count(url) As antal FROM filIndhold WHERE mappeId = " & mappeId
Set RS = conn.Execute(SQL)
antal = RS("antal")
'finder fil oplysninger og laver liste med radio
SQL = "SELECT * FROM filIndhold WHERE mappeId = " & mappeId
Set RS = conn.Execute(SQL)

urlListe = "<h5>Der er  " & antal & " filer i databasen<br><h5>Følgende filer er tilføjet fra mappen :</h5><table border=""0"" width=""95%"" align=""left"">"
urlListe = urlListe & "<tr><td width=""50%""><h5><p align=""center"">Url</p></h5></td><td width=""50%""><h5><p align=""center"">Titel</p></h5></td></tr>"
Do While Not RS.EOF
urlListe = urlListe & "<tr><td width=""50%""><a href=""" & RS("url") & """>" & Right(RS("url"),25) & "</a></td><td width=""50%"">" & Left(RS("titel"),15) & "</td></tr>"
RS.MoveNext
Loop
urlListe = urlListe & "</table>"
tekst_over = "<center><h3>Mappen er tilføjet databasen d. " & tid & "</h3></center><br><h4>Indstillinger for mappen.</h4><br>"
tekst = tekst & "<p><h5>Du har 3 muligheder :</h5></p>"
tekst = tekst & "<p><input type=""radio"" value=""V1"" checked name=""R1""> vende tilbage til indtastning.<br>"
tekst = tekst & "<input type=""radio"" name=""R1"" value=""V2""> slette mappen og filerne fra databasen.<br>"
tekst = tekst & "<input type=""radio"" name=""R1"" value=""V3""> køre søgning igen og opdater databasen.</p>"

Else
'***** Functiom *****************************************************
Function laesFil(tempFil)
'læser filerne
Set filesys = CreateObject("Scripting.FileSystemObject")
Set txtfile = filesys.OpenTextFile(tempFil,1,0)
laesFil = txtfile.ReadAll
End Function
'///////////////////////////////////////////
Function findText(line)
'finder teksten i body
findBody = ""
If (instr(line,"<body") And instr(line,"</body>")) Or (instr(line,"body") And instr(line,"/body")) Then
  startBody = 0
  slutBody = 0
  startBody = Instr(1,line,"<body")
  slutBody = Instr(startBody,line,"</body>")
  findBody = Mid(line,startBody+5,slutBody- startBody-6)
  findBody = Trim(findBody)
Else
  findBody = "...."
End If
If findBody = "" Or findBody = "...." Then
  findBody = "No body...."
End If
startBody = Instr(1,findBody,">")
slutBody = Len(findBody)
findBody = Mid(findBody,startBody+1,slutBody)
findText = findBody
End Function
'///////////////////////////////////////////
Function clearBody(bodyTxt)
chekBody = True
'fjerner alle html tags
  Do While chekBody = True
  startBody = Instr(1,bodyTxt,"<")
  slutBody = Instr(startBody+1,bodyTxt,">")
  If startBody > 1 Then
  bodyTxt = Left(bodyTxt,startBody-1) & Mid(bodyTxt,slutBody+1,Len(bodyTxt))
  Else
  chekBody = False
  End If
Loop
clearBody = bodyTxt
End Function
'/////////////////////////////////////////////
Dim nyTxt,reMove
Function sorterTxt(tempTxt)
'sortere ordene så der kun er et af hvert
tempTxt = LCase(tempTxt)

nyTxt = ""
chekBody = True
Do While chekBody = True
  tempTxt = LTrim(tempTxt)
  slutBody = Instr(1,tempTxt," ")
  If slutBody > 1 Then
  reMove = Left(tempTxt,slutBody)
  If Len (reMove) = 3 Or IsNumeric(reMove) = True Then
    tempTxt = Mid(tempTxt,slutBody,Len(tempTxt))
  Else
    nyTxt = nyTxt & reMove
    tempTxt = Replace(tempTxt,reMove," ")
  End If
  Else
  chekBody = False
  End If
Loop

nyTxt = Replace(nyTxt,vbCrLf," ")
nyTxt = Replace(nyTxt,"&nbsp;"," ")
nyTxt = Replace(nyTxt,"."," ")
nyTxt = Replace(nyTxt,","," ")
nyTxt = Replace(nyTxt,""""," ")
nyTxt = Replace(nyTxt,"\"," ")
nyTxt = Replace(nyTxt,"/"," ")
nyTxt = Replace(nyTxt,"-"," ")
nyTxt = Replace(nyTxt,"["," ")
nyTxt = Replace(nyTxt,"]"," ")
nyTxt = Replace(nyTxt,"("," ")
nyTxt = Replace(nyTxt,")"," ")
nyTxt = Replace(nyTxt,"'"," ")
sorterTxt = nyTxt
End Function
'/////////////////////////////////////////////
Dim startBesk,slutBesk
Function findBesk(line)
'finder beskrivelse
findBesk = ""
If instr(line,"<meta name=""description""") Or instr(line,"meta name=""description""") Then
  startBesk = 0
  slutBesk = 0
  startBesk = Instr(1,line,"""description"" content=""")
  slutBesk = Instr(startBesk,line,chr(34)&">")
  findBesk = Mid(line,startBesk+23,slutBesk- startBesk-23)
  findBesk = Trim(findBesk)
  findBesk = Ucase(Mid(findBesk,1,1)) & Mid(findBesk,2,45) & "...."
  findBesk = replace(findBesk,"<","")
  findBesk = replace(findBesk,">","")
  findBesk = replace(findBesk,"+","")
Else
  findBesk = "No description...."
End If
If findBesk = "" Or findBesk = "...." Then
  findBesk = "No description...."
End If
findBesk = LCase(findBesk)
End Function
'////////////////////////////////////////
Dim startTitle,slutTitle
Function findTitle(line)
'finder title
findTitle = ""
If (instr(line,"<title>") And instr(line,"</title>")) Or (instr(line,"title") And instr(line,"/title")) Then
  startTitle = 0
  slutTitle = 0
  startTitle = Instr(1,line,"<title>")
  slutTitle = Instr(startTitle,line,"</title>")
  findTitle = Mid(line,startTitle+7,slutTitle- startTitle-7)
  findTitle = Trim(findTitle)
  findTitle = Ucase(Mid(findTitle,1,1)) & Mid(findTitle,2,36) & "...."
  findTitle = replace(findTitle,"<","")
  findTitle = replace(findTitle,">","")
  findTitle = replace(findTitle,"+","")
Else
  findTitle = "No title...."
End If
If findTitle = "" Or findTitle = "...." Then
  findTitle = "No title...."
End If
findTitle = LCase(findTitle)
End Function
'******************************************************
SQL = "INSERT INTO mapper ( startMappe, startUrl, defaultSide, medUnderscore, htm, html, asp, startLink, notat)"
SQL = SQL &  " values ('" & startMappe & "', '" & startUrl & "','" & defaultSide & "','" & medUnderscore & "','" & htm & "','" & html & "','" & asp & "','" & startLink & "','" & notat & "')"
conn.execute (SQL)
'finder id
RS = Conn.Execute("Select Max(mapper.Id) as max_id from mapper")
mappeId = RS("max_id")

Set fs=CreateObject("Scripting.FileSystemObject")
ReDim mappeArray(1)
ReDim urlArray(1)
'array til mapper
mappeArray(0) = startMappe
'array til urler
urlArray(0) = startUrl
'tæller tilføj fundne mapper
taellerTilfoej = 1
'tæller mapper til søgning
taellerOp = 0
'finder alle mapper
Do While taellerOp < UBound(mappeArray)
tempsti = mappeArray(taellerOp)
tempurl = urlArray(taellerOp)
' finder undermapper
Set f = fs.GetFolder(tempsti)
Set fc = f.SubFolders
  For Each f1 in fc
  'hvis mapper med underscore skal med
  If medUnderscore = "ON" Then
  If Not Left(f1.name,1) = "_" Then
    ReDim Preserve mappeArray(UBound(mappeArray) + 1)
    ReDim Preserve urlArray(UBound(urlArray) + 1)
    mappeArray(taellerTilfoej) = (tempsti & "\" & f1.name)
    urlArray(taellerTilfoej) = (tempurl & "/" & f1.name)
    taellerTilfoej = taellerTilfoej + 1
  Else
  End If
  Else
    'hvis alle mapper skal med
    ReDim Preserve mappeArray(UBound(mappeArray) + 1)
    ReDim Preserve urlArray(UBound(urlArray) + 1)
    mappeArray(taellerTilfoej) = (tempsti & "\" & f1.name)
    urlArray(taellerTilfoej) = (tempurl & "/" & f1.name)
    taellerTilfoej = taellerTilfoej + 1
  End If
  Next
taellerOp = taellerOp + 1
Loop

' finder filer i mapperne
For tael = 0 To UBound(mappeArray)-1
set f = fs.GetFolder(mappeArray(tael))
Set fc = f.Files

' finder default siden
If findDefault = True Then
  For Each f1 in fc
  If f1.name = "default.htm" Or f1.name = "default.html" Then
    defaultSide = urlArray(tael)&"/"& f1.name
  End If
  Next
End If

For Each f1 in fc
  ' ser efter cont. typen
  If Right(f1.name,4) = htm Or Right(f1.name,4) = html Or Right(f1.name,4) = asp Then
  filTaeller = filTaeller + 1
  'læser indholdet af filen
  filIndhold = laesFil(mappeArray(tael) & "\" & f1.name)
  'finder beskrivelse
  filBesk = findBesk(filIndhold)
  'finder title
  filTitle = findTitle(filindhold)
  'finder teksten i body
  filIndhold = findText(filIndhold)
  'fjerner html tags
  filIndhold = clearBody(filIndhold)
  'sorter så der kun er et af hvert ord
  filIndhold = sorterTxt(filIndhold)
  ' definer url til siden
  If defaultSide = "" Then
    startDef = urlArray(tael)&"/"& f1.name
  Else
    startDef = defaultSide
  End If
  'sætter i databasen
  SQL = "INSERT INTO filIndhold ( mappeId,url,titel,besk,indhold,startUrl ) values (" & mappeId _
  & ",'" & urlArray(tael)&"/"& f1.name & "', '" & filTitle & "','" & filBesk & "','" & filIndhold & "','" & startDef & "')"
  conn.execute (SQL)
  End If
Next
If findDefault = True Then
defaultSide = ""
End If
Next
'skriver resultatet
res = ""
res = res & "<br><h5>Resultatet af søgning.</h5></center><br>"
res = res & "<h6>Der er " & UBound(mappeArray)-1 & " mapper i " & startMappe & "<br>"
res = res & "Der er tilføjet " & filTaeller & " filer til databasen"
res = res & "<br><br><a href=""crawler.asp"">Ny søgning</a></h6>"
res = res & "<br><br><h5>Indstillinger for mappen :</h5>"
mode = ""
txtfile.Close
Set RS = Nothing
conn.Close
End If
End If
If mode = "" Then
%>

<form method="POST" name="liste" action="crawler.asp">
<%=res%>
<%=tekst_over%>
  <p><h6>Mappen der skal søges i :&nbsp;<br>
  <input type="text" name="startMappe" size="60" value="<%=startMappe%>"><br>
  Denne fil ligger i <%=(Server.MapPath("."))%><br><br>
  <input type="checkbox" name="medUnderscore" value="ON" <%=medUnderscore_ch%>>der skal ikke søges i mapper der
  starter med _&nbsp;<br>
  <br>
  Fil typer der skal indgå i søgningen :<br>
  <input type="checkbox" name="htm" value="ON" <%=htm_ch%>> HTM<br>
  <input type="checkbox" name="html" value="ON" <%=html_ch%>> HTML<br>
  <input type="checkbox" name="asp" value="ON" <%=asp_ch%>> ASP<br>
  <br>
  Linket ved søgning skal referere til :<br>
  <select size="1" name="startLink">
    <option <%=side_sel%> value="side">Siden selv, Indtast Url til mappe</option>
    <option <%=findDefault_sel%> value="findDefault">Default siden i hver mappe, Indtast Url til mappe</option>
    <option <%=defMappe_sel%> value="defMappe">Forud defineret mappe, Indtastes Url til startside</option>
  </select>
  <br><br>
  Url til mappen, hvis urlen skal referere til siden selv eller default siden i mapperne :<br>
  <input type="text" name="startUrl" size="60" value="<%=startUrl%>"><br>
  <br>
  Url til start side, hvis startsiden en forud defineret :<br>
  <input type="text" name="defaultSide" size="49" value="<%=defaultSide%>"><br>
</p>
Notat til mappe : <br>
<textarea rows="2" name="notat" cols="40"><%=notat%></textarea>
<br>
<%=tekst%>
  <p><input type="submit" value="Send"  onClick="return test()"><input type="reset" value="Nulstil" ></p>
  <input type="hidden" name="id" value="<%=mappeId%>">
</form></h6>
<%=urlListe%>

</BODY>
</HTML>
<%
End If
%>





________________________________________






MANGE TAK
Avatar billede ortrak Nybegynder
29. maj 2000 - 16:48 #1
Det kan du godt glemme...
Hvis du vil have det du skriver, skal du for det første væk fra ASP og i stedet lave et windows-program...
En anden ting er hvad der overhovedet er sikkerhedsmæssigt muligt og hvad der kan lade sig gøre inden for en rimelig tidsramme.
Du skal tænke på, at du kun kan gøre det her ved at lave en slags "brute-force" indeksering...Og det tager tid - rigtig lang tid - med mindre du har adgang til ekstraordinært meget processorkraft/båndbredde til rådighed...


/ortrak
Avatar billede cyigen Nybegynder
29. maj 2000 - 19:18 #2
Jamen denne script virker på selve computeren hvis nu jeg skrev
c:\inetpub\wwwroot\

så finder den alle asp, htm , html scriptene og putter dem ind i en database.
Kan man ikke lave den omtil at den også kan gøre det ved internettet hvis jeg skrev

http://www.home.inet.tele.dk/


så vil den finde alle siderne under den mappe?
eller bare jeg skrev http://
så fandt den alle siderne ved internettet?
Kunne man ikke gøre det ved denne script?

Hvordan har SONOFON lavet denne søgemaskine?
URL: http://sonofontest.mindpass.com/search.html


Den finder næsten alle sider i verden.
Hvad har de brugt?
Avatar billede cyigen Nybegynder
29. maj 2000 - 19:21 #3
har fundet ud af hvad de har brugt.
De har brugt PHP3.
Avatar billede ortrak Nybegynder
29. maj 2000 - 19:43 #4
Der er stor forskel på hvad man kan på sin egen server og på en remote server. De methods som bliver benyttet i dit script, som f.eks. Server.MapPath, kan du ikke bruge på en remote server, men kun på den server hvorpå filen ligger.
Det er muligt er lave en bot, som gnaver sig igennem nettet, men det kræver som tidligere nævnt temmelig meget processorkraft og båndbredde, hvis det ikke skal tage en evighed, at samle bare en anelse oplysninger. Du skal tænke på, at når du foretager en søgning på sonofon's søgemaskine, så kigger den ikke lige internettet efter vha. et php3-script realtime. De har givetvis en bot som ikke laver andet end at indeksere sider på nettet, 24 timer i døgnet. Og det foregår givetvis ved, at den starter fra A-Z og så ellers bare kører derudad...
Der findes jo ikke noget register over samtlige URL'er på hele internettet...


Jeg vil umiddelbart foreslå dig, at løse det på en anden måde. Hvis du kun skal bruge det privat, kan du lave et program, som sender queries til en søgemaskine(f.eks. sonofons), og som opsnapper outputtet hvorefter du kan sortere relevante oplysninger i outputtet fra. Men hvis det er til kommercielt brug, så vil jeg nok ikke anbefale at gøre det, da visse sites godt kan blive lidt "sjove" over, at man kører batch-programmer op imod deres site.


/ortrak
Avatar billede cyigen Nybegynder
31. maj 2000 - 15:15 #5
Okey mange tak for svaret men det kan altså ikke lade sig gøre!!
Men jeg er da ikke helt villig til at give 200 point for ingen ting!!
Jeg fik det jo ikke lavet om så hvad skal jeg gøre??
Avatar billede cyigen Nybegynder
03. juni 2000 - 17:58 #6
Jeg lukker denne spm.
Jeg har desværre ikke fået lavet scriptet om så jeg tager selv pointene.
Hvis der er noget glat i det er jeg villig til at give lidt point til ortak.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester