Avatar billede eerikk Nybegynder
12. november 2003 - 12:56 Der er 4 kommentarer og
2 løsninger

blindgyder for crawlere/sitesearchere

Hejsa - jeg sidder og arbejder med en crawler/sitesearcher, som jeg vil bruge til at afsøge sider ud fra deres basis-URL (www.xxx.xx/) og gemme deres indhold i en database. Jeg efterlyser problemer/løsninger i forbindelse med anvendelse af en sådan crawler/sitesearcher. Jeg er selv opmærksom på at en Applet-baseret navigationsmenu med URL'er gemt i class-filer kan udgøre en blindgyde for en crawler/sitesearcher, men der må være mange andre "blindgyder" deres problemløsning er det jeg efterlyser her :o)

-Erik
Avatar billede bufferzone Praktikant
12. november 2003 - 13:06 #1
http://www.webmasterworld.com findes der dels et specialfora for netop den slags programmering samt alle mulige andre fora for søgemaskinerelaterede ting. Du kan også få kontakt med andre professionelle der laver den slags.

Opret en profil og kik tingene igennem, stil e.v.t. spørgsmål direkte i deres forum, efter at have set om svaret e.v.t. allerede skulle ligge i basen
Avatar billede jakoba Nybegynder
12. november 2003 - 15:01 #2
Den url der genereres i en javascript meny wil ofte være sammensat af en mappesti of et filnavn. din crawler ville være nødt til at 'forstå' scriptet godt nok til at finde dem og sætte dem sammen før den kan følge følge de links.

jeg har set "de må ikke hugge min kode" paranoia scripts hvor links var krypteret og skulle igennem en dekrypteringsfunktion før de kunne bruges.

Umiddelbart vil jeg mene at de eneste links du reelt kan forvente at kunne følge med sådan en crawler er bogstandard html links: <a href= og <area href= .

Og selv der skal du være forsigtig. Kun gud ved hvad din cravler 'finder' hvis den følger det meget almindelige link <a href="billedfil.jpg" target="_blank"> og begynder at lede efter flere links i den binære billedfil.

mvh JakobA
Avatar billede eerikk Nybegynder
12. november 2003 - 20:33 #3
jakoba - giv et svar :o)
Avatar billede jakoba Nybegynder
12. november 2003 - 20:37 #4
ok, men jeg vi anbefale du venter på mere før lukning.
Avatar billede eerikk Nybegynder
12. november 2003 - 20:51 #5
ja det gør jeg også... --> any one?
Avatar billede eerikk Nybegynder
13. november 2003 - 18:37 #6
Der sker hvis ikke mere så jeg lukker og slukker...
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Kurser inden for grundlæggende programmering

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester