Lave stor script om!!
Er der nogen der vil lave denne script om til mig?Det den kan nu det er at den kan finde asp, html, htm filer fra nogle bestemte mapper som jeg angiver i en formular!
Det jeg gærne vil have den til er at den skal kunne finde f.eks hvis jeg skrive
http://home.inet.tele/
så vil jeg gærne have at den finder alle de sider der er under den mappe også tildøjer den linkene til min database er der nogle der kan hjælpe mig med det?
Altså den skal kunne finde nsæten alle sider på nettet og putte dem ind i min database!!
Og
Den må også meget gærne finde
.dk
domænenavne!!
f.eks hvis jeg siger den bare skal finde alt under
http://
så finder den bare alle sider under dk domænenavne!!
Eller jeg tror ikke det kan lade sig gøre men skig med det hvis i ikke kan
her kommer scriptet som der skal ændres i:
________________________________________
<%Option Explicit
Response.Buffer = True
'********************
'FileCrawler V 1.0 *
'Made By Henning Yde*
'hyde@hvidesande.dk *
'********************
%>
<HTML>
<HEAD>
<META HTTP-EQUIV="Cache-Control" CONTENT="no-store">
<META HTTP-EQUIV="Pragma" CONTENT="no-cache">
<LINK href="sider.css" media=screen rel=stylesheet type=text/css>
<script language="JavaScript">
var fejltekst="", konto;
function checkTekstfelt(tekstfelt)
{
if (tekstfelt.value == "")
{
return false;
}
else
{
return true;
}
}
function isSelect(elm)
{
if (elm.selectedIndex == 0 || elm.selectedIndex == 1)
{
if (document.liste.startUrl.value == "" )
{
fejltekst += "Angiv Url til mappen\n";marker(0,6);
return false;
}
else
{
return true;
}
}
if (elm.selectedIndex == 2 )
{
if (document.liste.defaultSide.value == "")
{
fejltekst += "Angiv Url til default siden\n";marker(0,7)
return false;
}
else
{
return true;
}
}
}
function test()
{
if (!checkTekstfelt(document.liste.startMappe)) {fejltekst = "Start mappen er ikke udfyldt\n"; marker(0,0)}
if (!isSelect(document.liste.startLink)) {fejltekst += "\n\nMANGLENDE INDTASTNING\n";}
if (fejltekst != "")
{
alert(fejltekst);
fejltekst = "";
return false;
}
else
{
return true;
}
}
function marker(x,y)
{
document.forms[x].elements[y].focus()
document.forms[x].elements[y].select()
}
</script>
</HEAD>
<BODY onLoad="marker(0,0)">
<%
Dim mode
mode = ""
medUnderscore_ch = "checked"
htm_ch = "checked"
html_ch = "checked"
asp_ch = "checked"
side_sel = "selected"
If Request.ServerVariables("REQUEST_METHOD") = "POST" Then
'valg hvis mappen findes
If Request.Form("R1") = "V1" Then
Response.Redirect "crawler.asp"
End If
If Request.Form("R1") = "V2" Then
'slet alle poster
mode = "slet"
End If
If Request.Form("R1") = "V3" Then
'slet og opdater
mode = "slet"
End If
findDefault = False
Dim startMappe, taellerTilfoej, taellerOp, tempsti, startUrl, tempurl
Dim mappeArray (),urlArray(), tael, filIndhold, defaultSide,filTaeller
Dim f1, fs, f, fc, s,filesys,txtfile,line, findDefault,medUnderscore
Dim startBody,slutBody,findBody, chekBody,filBesk,filTitle,startLink
Dim htm,html,asp, id, antal,tekst_over,res
Dim medUnderscore_ch, htm_ch, html_ch, asp_ch, notat
Dim side_sel, defMappe_sel, findDefault_sel, urlListe, tekst, tid
'tjek om der skal vises liste
If Not Request.Form("visMappe") = "" Then
startMappe = Request.Form("visMappe")
Else
startMappe = Request.Form("startMappe")
End If
startUrl = Request.Form("startUrl")
medUnderscore = Request.Form("medUnderscore")
notat = Request.Form("notat")
filTaeller = 0
htm = ""
html = ""
asp = ""
'finder hvilke filtyper der skal med
If Request.Form("htm") = "ON" Then
htm = ".htm"
End If
If Request.Form("html") = "ON" Then
html = "html"
End If
If Request.Form("asp") = "ON" Then
asp = ".asp"
End If
startLink = Request.Form("startLink")
'hvad skal url til siden være
If startLink = "findDefault" Then
'default sider i mapperne
findDefault = True
defaultSide = ""
ElseIf startLink = "side" Then
'siden selv
findDefault = False
defaultSide = ""
ElseIf startLink = "defMappe" Then
'forud defineret side
findDefault = False
defaultSide = Request.Form("defaultSide")
End If
'--------------------------------------------------------------------
Dim conn, SQL,RS,mappeId,startDef
Set Conn = Server.CreateObject("ADODB.Connection")
conn.Open "DBQ="&(Server.MapPath(".")) &"\crawlerDb.mdb; DefaultDir=DBQ="&(Server.MapPath(".")) &"\;Driver={Microsoft Access Driver (*.mdb)};"
'sletter mappe og filer i database
If mode = "slet" Then
SQL = "DELETE FROM filIndhold WHERE mappeId = " & Request.Form("id")
Set RS = conn.Execute(SQL)
SQL = "DELETE FROM mapper WHERE id = " & Request.Form("id")
Set RS = conn.Execute(SQL)
If Request.Form("R1") = "V2" Then
Response.Redirect "crawler.asp"
End If
End If
'ser om mappen er tilføjet i db'en
SQL = "SELECT * FROM mapper WHERE startMappe = '" & startMappe & "'"
Set RS = conn.Execute(SQL)
'hvis ja, finder values til form
If Not RS.EOF Then
mappeId = RS("id")
startMappe = RS("startMappe")
startUrl = RS("startUrl")
defaultSide = RS("defaultSide")
tid = RS("dato")
notat = RS("notat")
If RS("medUnderscore") = "ON" Then
medUnderscore_ch = "checked"
Else
medUnderscore_ch = ""
End If
If RS("htm") = ".htm" Then
htm_ch = "checked"
Else
htm_ch = ""
End If
If RS("html") = "html" Then
html_ch = "checked"
Else
html_ch = ""
End If
If RS("asp") = ".asp" Then
asp_ch = "checked"
Else
asp_ch = ""
End If
StartLink = RS("startLink")
If startLink = "findDefault" Then
findDefault_sel = "selected"
ElseIf startLink = "side" Then
side_sel = "selected"
ElseIf startLink = "defMappe" Then
defMappe_sel = "selected"
End If
'tæller antal filer fra mappen
SQL = "SELECT Count(url) As antal FROM filIndhold WHERE mappeId = " & mappeId
Set RS = conn.Execute(SQL)
antal = RS("antal")
'finder fil oplysninger og laver liste med radio
SQL = "SELECT * FROM filIndhold WHERE mappeId = " & mappeId
Set RS = conn.Execute(SQL)
urlListe = "<h5>Der er " & antal & " filer i databasen<br><h5>Følgende filer er tilføjet fra mappen :</h5><table border=""0"" width=""95%"" align=""left"">"
urlListe = urlListe & "<tr><td width=""50%""><h5><p align=""center"">Url</p></h5></td><td width=""50%""><h5><p align=""center"">Titel</p></h5></td></tr>"
Do While Not RS.EOF
urlListe = urlListe & "<tr><td width=""50%""><a href=""" & RS("url") & """>" & Right(RS("url"),25) & "</a></td><td width=""50%"">" & Left(RS("titel"),15) & "</td></tr>"
RS.MoveNext
Loop
urlListe = urlListe & "</table>"
tekst_over = "<center><h3>Mappen er tilføjet databasen d. " & tid & "</h3></center><br><h4>Indstillinger for mappen.</h4><br>"
tekst = tekst & "<p><h5>Du har 3 muligheder :</h5></p>"
tekst = tekst & "<p><input type=""radio"" value=""V1"" checked name=""R1""> vende tilbage til indtastning.<br>"
tekst = tekst & "<input type=""radio"" name=""R1"" value=""V2""> slette mappen og filerne fra databasen.<br>"
tekst = tekst & "<input type=""radio"" name=""R1"" value=""V3""> køre søgning igen og opdater databasen.</p>"
Else
'***** Functiom *****************************************************
Function laesFil(tempFil)
'læser filerne
Set filesys = CreateObject("Scripting.FileSystemObject")
Set txtfile = filesys.OpenTextFile(tempFil,1,0)
laesFil = txtfile.ReadAll
End Function
'///////////////////////////////////////////
Function findText(line)
'finder teksten i body
findBody = ""
If (instr(line,"<body") And instr(line,"</body>")) Or (instr(line,"body") And instr(line,"/body")) Then
startBody = 0
slutBody = 0
startBody = Instr(1,line,"<body")
slutBody = Instr(startBody,line,"</body>")
findBody = Mid(line,startBody+5,slutBody- startBody-6)
findBody = Trim(findBody)
Else
findBody = "...."
End If
If findBody = "" Or findBody = "...." Then
findBody = "No body...."
End If
startBody = Instr(1,findBody,">")
slutBody = Len(findBody)
findBody = Mid(findBody,startBody+1,slutBody)
findText = findBody
End Function
'///////////////////////////////////////////
Function clearBody(bodyTxt)
chekBody = True
'fjerner alle html tags
Do While chekBody = True
startBody = Instr(1,bodyTxt,"<")
slutBody = Instr(startBody+1,bodyTxt,">")
If startBody > 1 Then
bodyTxt = Left(bodyTxt,startBody-1) & Mid(bodyTxt,slutBody+1,Len(bodyTxt))
Else
chekBody = False
End If
Loop
clearBody = bodyTxt
End Function
'/////////////////////////////////////////////
Dim nyTxt,reMove
Function sorterTxt(tempTxt)
'sortere ordene så der kun er et af hvert
tempTxt = LCase(tempTxt)
nyTxt = ""
chekBody = True
Do While chekBody = True
tempTxt = LTrim(tempTxt)
slutBody = Instr(1,tempTxt," ")
If slutBody > 1 Then
reMove = Left(tempTxt,slutBody)
If Len (reMove) = 3 Or IsNumeric(reMove) = True Then
tempTxt = Mid(tempTxt,slutBody,Len(tempTxt))
Else
nyTxt = nyTxt & reMove
tempTxt = Replace(tempTxt,reMove," ")
End If
Else
chekBody = False
End If
Loop
nyTxt = Replace(nyTxt,vbCrLf," ")
nyTxt = Replace(nyTxt," "," ")
nyTxt = Replace(nyTxt,"."," ")
nyTxt = Replace(nyTxt,","," ")
nyTxt = Replace(nyTxt,""""," ")
nyTxt = Replace(nyTxt,"\"," ")
nyTxt = Replace(nyTxt,"/"," ")
nyTxt = Replace(nyTxt,"-"," ")
nyTxt = Replace(nyTxt,"["," ")
nyTxt = Replace(nyTxt,"]"," ")
nyTxt = Replace(nyTxt,"("," ")
nyTxt = Replace(nyTxt,")"," ")
nyTxt = Replace(nyTxt,"'"," ")
sorterTxt = nyTxt
End Function
'/////////////////////////////////////////////
Dim startBesk,slutBesk
Function findBesk(line)
'finder beskrivelse
findBesk = ""
If instr(line,"<meta name=""description""") Or instr(line,"meta name=""description""") Then
startBesk = 0
slutBesk = 0
startBesk = Instr(1,line,"""description"" content=""")
slutBesk = Instr(startBesk,line,chr(34)&">")
findBesk = Mid(line,startBesk+23,slutBesk- startBesk-23)
findBesk = Trim(findBesk)
findBesk = Ucase(Mid(findBesk,1,1)) & Mid(findBesk,2,45) & "...."
findBesk = replace(findBesk,"<","")
findBesk = replace(findBesk,">","")
findBesk = replace(findBesk,"+","")
Else
findBesk = "No description...."
End If
If findBesk = "" Or findBesk = "...." Then
findBesk = "No description...."
End If
findBesk = LCase(findBesk)
End Function
'////////////////////////////////////////
Dim startTitle,slutTitle
Function findTitle(line)
'finder title
findTitle = ""
If (instr(line,"<title>") And instr(line,"</title>")) Or (instr(line,"title") And instr(line,"/title")) Then
startTitle = 0
slutTitle = 0
startTitle = Instr(1,line,"<title>")
slutTitle = Instr(startTitle,line,"</title>")
findTitle = Mid(line,startTitle+7,slutTitle- startTitle-7)
findTitle = Trim(findTitle)
findTitle = Ucase(Mid(findTitle,1,1)) & Mid(findTitle,2,36) & "...."
findTitle = replace(findTitle,"<","")
findTitle = replace(findTitle,">","")
findTitle = replace(findTitle,"+","")
Else
findTitle = "No title...."
End If
If findTitle = "" Or findTitle = "...." Then
findTitle = "No title...."
End If
findTitle = LCase(findTitle)
End Function
'******************************************************
SQL = "INSERT INTO mapper ( startMappe, startUrl, defaultSide, medUnderscore, htm, html, asp, startLink, notat)"
SQL = SQL & " values ('" & startMappe & "', '" & startUrl & "','" & defaultSide & "','" & medUnderscore & "','" & htm & "','" & html & "','" & asp & "','" & startLink & "','" & notat & "')"
conn.execute (SQL)
'finder id
RS = Conn.Execute("Select Max(mapper.Id) as max_id from mapper")
mappeId = RS("max_id")
Set fs=CreateObject("Scripting.FileSystemObject")
ReDim mappeArray(1)
ReDim urlArray(1)
'array til mapper
mappeArray(0) = startMappe
'array til urler
urlArray(0) = startUrl
'tæller tilføj fundne mapper
taellerTilfoej = 1
'tæller mapper til søgning
taellerOp = 0
'finder alle mapper
Do While taellerOp < UBound(mappeArray)
tempsti = mappeArray(taellerOp)
tempurl = urlArray(taellerOp)
' finder undermapper
Set f = fs.GetFolder(tempsti)
Set fc = f.SubFolders
For Each f1 in fc
'hvis mapper med underscore skal med
If medUnderscore = "ON" Then
If Not Left(f1.name,1) = "_" Then
ReDim Preserve mappeArray(UBound(mappeArray) + 1)
ReDim Preserve urlArray(UBound(urlArray) + 1)
mappeArray(taellerTilfoej) = (tempsti & "\" & f1.name)
urlArray(taellerTilfoej) = (tempurl & "/" & f1.name)
taellerTilfoej = taellerTilfoej + 1
Else
End If
Else
'hvis alle mapper skal med
ReDim Preserve mappeArray(UBound(mappeArray) + 1)
ReDim Preserve urlArray(UBound(urlArray) + 1)
mappeArray(taellerTilfoej) = (tempsti & "\" & f1.name)
urlArray(taellerTilfoej) = (tempurl & "/" & f1.name)
taellerTilfoej = taellerTilfoej + 1
End If
Next
taellerOp = taellerOp + 1
Loop
' finder filer i mapperne
For tael = 0 To UBound(mappeArray)-1
set f = fs.GetFolder(mappeArray(tael))
Set fc = f.Files
' finder default siden
If findDefault = True Then
For Each f1 in fc
If f1.name = "default.htm" Or f1.name = "default.html" Then
defaultSide = urlArray(tael)&"/"& f1.name
End If
Next
End If
For Each f1 in fc
' ser efter cont. typen
If Right(f1.name,4) = htm Or Right(f1.name,4) = html Or Right(f1.name,4) = asp Then
filTaeller = filTaeller + 1
'læser indholdet af filen
filIndhold = laesFil(mappeArray(tael) & "\" & f1.name)
'finder beskrivelse
filBesk = findBesk(filIndhold)
'finder title
filTitle = findTitle(filindhold)
'finder teksten i body
filIndhold = findText(filIndhold)
'fjerner html tags
filIndhold = clearBody(filIndhold)
'sorter så der kun er et af hvert ord
filIndhold = sorterTxt(filIndhold)
' definer url til siden
If defaultSide = "" Then
startDef = urlArray(tael)&"/"& f1.name
Else
startDef = defaultSide
End If
'sætter i databasen
SQL = "INSERT INTO filIndhold ( mappeId,url,titel,besk,indhold,startUrl ) values (" & mappeId _
& ",'" & urlArray(tael)&"/"& f1.name & "', '" & filTitle & "','" & filBesk & "','" & filIndhold & "','" & startDef & "')"
conn.execute (SQL)
End If
Next
If findDefault = True Then
defaultSide = ""
End If
Next
'skriver resultatet
res = ""
res = res & "<br><h5>Resultatet af søgning.</h5></center><br>"
res = res & "<h6>Der er " & UBound(mappeArray)-1 & " mapper i " & startMappe & "<br>"
res = res & "Der er tilføjet " & filTaeller & " filer til databasen"
res = res & "<br><br><a href=""crawler.asp"">Ny søgning</a></h6>"
res = res & "<br><br><h5>Indstillinger for mappen :</h5>"
mode = ""
txtfile.Close
Set RS = Nothing
conn.Close
End If
End If
If mode = "" Then
%>
<form method="POST" name="liste" action="crawler.asp">
<%=res%>
<%=tekst_over%>
<p><h6>Mappen der skal søges i : <br>
<input type="text" name="startMappe" size="60" value="<%=startMappe%>"><br>
Denne fil ligger i <%=(Server.MapPath("."))%><br><br>
<input type="checkbox" name="medUnderscore" value="ON" <%=medUnderscore_ch%>>der skal ikke søges i mapper der
starter med _ <br>
<br>
Fil typer der skal indgå i søgningen :<br>
<input type="checkbox" name="htm" value="ON" <%=htm_ch%>> HTM<br>
<input type="checkbox" name="html" value="ON" <%=html_ch%>> HTML<br>
<input type="checkbox" name="asp" value="ON" <%=asp_ch%>> ASP<br>
<br>
Linket ved søgning skal referere til :<br>
<select size="1" name="startLink">
<option <%=side_sel%> value="side">Siden selv, Indtast Url til mappe</option>
<option <%=findDefault_sel%> value="findDefault">Default siden i hver mappe, Indtast Url til mappe</option>
<option <%=defMappe_sel%> value="defMappe">Forud defineret mappe, Indtastes Url til startside</option>
</select>
<br><br>
Url til mappen, hvis urlen skal referere til siden selv eller default siden i mapperne :<br>
<input type="text" name="startUrl" size="60" value="<%=startUrl%>"><br>
<br>
Url til start side, hvis startsiden en forud defineret :<br>
<input type="text" name="defaultSide" size="49" value="<%=defaultSide%>"><br>
</p>
Notat til mappe : <br>
<textarea rows="2" name="notat" cols="40"><%=notat%></textarea>
<br>
<%=tekst%>
<p><input type="submit" value="Send" onClick="return test()"><input type="reset" value="Nulstil" ></p>
<input type="hidden" name="id" value="<%=mappeId%>">
</form></h6>
<%=urlListe%>
</BODY>
</HTML>
<%
End If
%>
________________________________________
MANGE TAK
