Avatar billede wicked Juniormester
20. oktober 2018 - 10:46 Der er 3 kommentarer og
2 løsninger

Gem indhold fra website som tekst

Hey eksperter!

Jeg har et spørgsmål omkring hvordan jeg gemmer indholdet af et website som en tekstfil.

Jeg kender til wget, curl og den slags, men jeg kan ikke få det til at fungere som jeg gerne vil.

Det drejer sig om at gemme indhold fra hjemmesider der kører java, f.eks. denne: https://www.betfair.com/exchange/plus/tennis

Det jeg gerne vil er at finde en  linux kommando der kan gøre det samme som hvis jeg manuelt besøger siden, trykker ctrl+a, opretter en tekstfil, trykker ctrl+v og gemmer filen.

Det burde være simpelt, men jeg kan simpelthen ikke komme videre med det.

Nogen der har en løsning?
Avatar billede Slater Ekspert
20. oktober 2018 - 12:54 #1
Hvad går galt når du bruger det? For det burde virkelig være så let som

wget -O filnavn.txt http://website.tld

eller

curl http://website.tld > filnavn.txt
Avatar billede wicked Juniormester
20. oktober 2018 - 13:50 #2
Hej Slater

Tak for dit indlæg, det der går galt er at der ikke gemmes hverken spillere eller odds. Det er kun sidens "omrids" der gemmes med wget og curl, den data jeg skal bruge kommer ikke med. Giver det mening ?
Avatar billede Slater Ekspert
20. oktober 2018 - 14:24 #3
Det er fordi netop dens side indhold genereres med Javascript, som du ikke kan se i kildekoden.

Eftersom Javascript skal udføres af en browser, kan det ikke lade sig gøre at hente Javascript-renderet indhold med wget/curl og lignende. Det kræver en browser - eller i hvert fald en browser engine.
Avatar billede wicked Juniormester
20. oktober 2018 - 14:29 #4
Ah ja det giver mening - det gør det selvfølgelig noget vanskeligere at få hentet ned, jeg havde lidt en tanke om at man måske kunne afvikle siden i en terminal-browser og gemme indholdet den vej igennem, men det er jeg heller ikke lykkedes med endnu :/
Avatar billede bvirk Guru
10. november 2018 - 08:45 #5
javascript i en browserfane kan læse dom træet i en anden fane. søgning på 'wget javascript' gav
  https://stackoverflow.com/questions/5901661/wget-javascript
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester