ASP script - link robot
Jeg skal bruge et ASP/VBscript, som skal kunne finde alle sider på et domæne ved at følge links fra forsiden og videre. Dvs. at jeg fodrer scriptet med domænet, den går ind på forsiden, finder og følger links indtil den har fundet alle sider på sitet der er linket til forsiden gennem et eller flere led. URLerne på hver enkelt side skal gemmes i et domæne. Lad os bare kalde det en sitemap-robot...Scriptet skal være så enkelt som muligt. Det skal kunne håndtere sider der ikke findes, og de sider der er blevet besøgt én gang i en session skal ikke besøges igen - ellers kan den ryge ud i et loop.
Håber nogen kan hjælpe...
