Avatar billede bytebits Nybegynder
08. januar 2003 - 14:52 Der er 33 kommentarer og
1 løsning

Automatisk impotere oplysninger fra et website til et andet site

For ca. et årstid siden hørte jeg om en teknik til at rippe oplysninger fra et website og bruge det i et andet.
F.eks hvis jeg automatisk ville vise dagens aktuelle $ kurs fra Nationalbanken på mit website.
Nogle som ved hvad teknikken hedder ?
Der findes mindst 2 teknikker.
- den primitive hvor man blot ribber lidt html fra et felt.
- og den lidt mere avancerede som formodentligt indebærer noget XMl og ASP eller PHG.

Nogle som ka' hjælpe??

På forhånd tak
Avatar billede jakoba Nybegynder
08. januar 2003 - 15:37 #1
sådan at rippe indhold fra andre sider er ikke lovligt. så det får du ikke hjælp til her.

Hvis du har lov kan du i samarbejde med ejeren af det andet websted lave et lille phpscript du så kan kalde for at få de data du har brug for.

mvh JakobA
Avatar billede bytebits Nybegynder
08. januar 2003 - 15:55 #2
I praktis er der vel ikke meget forskel på om jeg manuelt hver dag aflæser $ kursen og uploader den til mit site eller jeg henter den automatisk.
Avatar billede jakoba Nybegynder
08. januar 2003 - 16:13 #3
næe det er der ikke. men øhh, hvad kommer det sagen ved? Det er ligeså ulovligt at rippe deres indhold manuelt.
Avatar billede bytebits Nybegynder
08. januar 2003 - 16:22 #4
Så hvad er formålet med en vekselkurs hvis den ikke må anvendes.?
Mig bekendt er der der tusindvis af firmaer som dagligt anvender $ kursen når de afregner med kunder og leverandører - og tydeligt skilter med den kurs der afregnes efter - både på faktura og websites.
Avatar billede jakoba Nybegynder
08. januar 2003 - 17:04 #5
snak med nationalbanken og find ud af hvordan og efter hvilke regler du må benytte den vekselkurs de publicerer. Det skulle ikke spor undre mig om de siger "den må du kopiere så tosset du vil". og så er det ok.

Pointen er du skal have lov. hvergang du ønsker at hente noget fra en anden side skal ejeren kontaktes, og eventuelle regler overholdes.
Avatar billede rzj Nybegynder
08. januar 2003 - 17:43 #6
jakoba>> i praksis ja, in "real life" mmhh, njah (desværre). Men er det iøvrigt ikke kun sider skiltet med Copyright, TM el.lign. der ikke må rippes?
bytebits>>Nogle sider stiller en XML service til rådighed. Som eksempelvis newz, der blandt andet tilbyder en rdf-stream:
http://www.newz.dk/content.php?id=9
Jeg tror tendensen er at du kan få røveren på komedie hvis du anvender rippet i en kommerciel sammenhæng. Er det for at tilbyde informationen på din private hjemmeside gør det nok ikke alverden og slet ikke hvis du skriver hvor info kommer fra ;-) Men i princippet er det rigtigt at du ikke bare sådan uden videre må rippe indholdet fra hjemmesider. Hjemmesider skal i princippet betragtes på fuldstændig lige fod med bøger/artikler og dem må man jo ikke sådan uden videre kopiere og anvende i andre sammenhænge uden forfatterens tilladelse.
/raz
Avatar billede jakoba Nybegynder
08. januar 2003 - 18:22 #7
efter amerikansk lov skal der mærkes med copyright sign for at data er beskyttet under loven.
efter dansk lov er alting beskyttet, hvadenten det er mærket eller ikke.
Avatar billede bytebits Nybegynder
08. januar 2003 - 18:31 #8
rzi>>
Rart at høre et begavet menneske.
jakoba's argumentation holder selvflg. ingen steder - ikke engang i Byretten!
Nationalbanken har ingen intelektuelle eller imatrielle rettigheder over valutakursen - den er blot det officielle Danmarks øjebliksbillede af valutaernes indbyrdes styrkeforhold.

Selvfølgelig kan jeg anvende deres valutakurs på min site, eneste forskel er at den ikke er officiel.
Og hvorledes jeg implementerer den - manuelt eller automatisk - er ligegyldig.
Men hvis Nationalbanken var lidt mere fremme i skoene og anvendte XML var tingene nok lidt nemmere og denne tråd nok aldrig opstået.
Avatar billede olebole Juniormester
09. januar 2003 - 00:28 #9
<ole>

Og det havde unægtelig været rart, så vi kunne være sluppet for dine fejlagtige udgydelser om jakobas begrænsede begavelse. Det havde måske pyntet på folks opfattelse af din dannelse ... din begavelse har jeg ikke nogen umiddelbar mening om. Det faktum, at du finder stor forskel på, hvad jakoba og rzi skriver, tæller dog ikke til din fordel  :)

Jakobas argumantation holder 100%. Hvis du læser noget på Nationalbankens site _skal_ du spørge dem om lov til at bruge det ... også deres angivelse af valutakursen (at de så vil sige 'værsågod' er en helt anden sag).
Hvis du har den andet steds fra, skal du ikke spørge Nationalbanken om tilladelse, men du skal spørge din anden kilde om lov.
Valutakursens størrelse er offentlig ejendom, men hvis du læser den et sted, skal du i princippet spørge om lov til selv at offentliggøre den.

Kun hvis der ved den kilde, du måtte have det fra tydeligt står, du må anvende informationerne, kan du anvende dem, uden at spørge.

Der er så en lovregel om 'citat i rimeligt omfang'. Her skal du tydeligt angive din kilde, men behøver ikke at spørge.
Det vil altid være et spørgsmål om en vurdering af, om citatet er i rimeligt omfang - men det er også forbudt med 'systematisk citat' og så risikerer man at havne der  :)
Laver du systematisk online-ripning af info fra et site, overtræder du helt klart loven, som den tolkes idag ... det ligger der retsafgørelser for.

Vi har i øvrigt lige fået en ny ophavsretslov i Danmark, som er restriktiv til det ekstreme - så der kommer garanteret mange 'sjove' retssager de kommende år.

/mvh
</bole>
Avatar billede _darkstar_ Nybegynder
09. januar 2003 - 00:36 #10
Dit spørgsmål er: "hvad hedder den teknik når man henter data fra et andet website"?

Jeg kender ikke til noget offieciel definition, men har slev brugt samme ord som dig (dog uden stavefejl), nemlig "rippe", som kommer af det engelske ord "rip".

Det andet som du skriver om har intet med rippning at gøre, da der er tale om udveksling af data i et format som begge parter har fastlagt sammen. F. eks. XML.

Du blander dog en del rundt på begreberne, for XML er et dataformat imens ASP er et system til programmering af dynamiske websider. PHG har jeg aldrig hørt om. Der findes dog noget, der hedder PHP. Det er også et sprog til dynamiske hjemmesider.

Referencer:
- XML: www.w3.org
- PHP: www.php.net
- ASP: microsoft.com
Avatar billede olebole Juniormester
09. januar 2003 - 01:26 #11
XML teknikken kaldes News Syndication og findes i en række forskellige formater (kræver, at kilden udgiver sine info i dette format), bl.a:

RDF ( www.w3.org )
NITF ( www.nitf.org )
NewsML ( www.newsml.org )
RSS ( husker ikke URL'en i hovedet )

Ripping kan foretages med PHP, Perl, ASP, JSP og andre severside teknologier/sprog - men det er der nok ikke nogen, der vil sætte deres Eksperten-konto på spil for at hjælpe dig med.
/mvh
Avatar billede bytebits Nybegynder
09. januar 2003 - 04:35 #12
Den primitive metode kaldes web- eller screenscrapeing og er den teknik som skal anvendes over for et forældet site som f.eks. Nationalbankens der ikke er sat op til at udveksle data med andre. Det må være den absolut sidste udvej
Avatar billede bytebits Nybegynder
09. januar 2003 - 04:42 #13
opps---blev ikke færdig.
Hvad sker der hvis de ændrer layoutet og indsætter et ekstra logo på siden så får jeg japanske yen og ikke forventet amerikanske dollars.
Fordelen ved Nationalbanken er dog at dagens vekselkurs ligger i et excell regneark som burde være relativt enkelt at importere automatisk og så udtrække de felter jeg ønsker.
En anden mulighed kunne være http://valutakurser.dk hvor det hele er heftigt scriptet.
Avatar billede _darkstar_ Nybegynder
09. januar 2003 - 09:43 #14
bytebits... velkommen i min killfile.
Avatar billede rzj Nybegynder
09. januar 2003 - 10:26 #15
bytebits>> Jeg vil overhovedet ikke gå med til at jeg er mere "begavet" end andre der hjælper/kommenterer her på eksperten (jeg vil nok heller ikke gå med til at jeg er mindre begavet:-). Jeg elaborerede bare mere over emnet...

olebole>>Jeg giver dig helt ret. Jeg mente ikke at det er lovligt at rip'e, men mener også at det bliver gjort i et omfang, der bevirker at informationer på Internettet er uigennemskuelige ift. validiteten, idet kilder langtfra altid er angivet præcist nok.

Men tilbage til udgangspunktet:
Ja, det er ulovligt at rip'e andre kilder og det er helt særdeles ulovligt uden kildeangivelser m.m. Juraen kan du læse lidt om her: http://www.jm.dk/wimpdoc.asp?page=document&objno=56940
Hvis du gerne vil lære teknikken til at hente specifik information fra en given tekst så må spørgsmålet lyde: "Hvordan finder jeg en given information fra et tekstformat/html-fil?".
Det er jo ikke ulovligt at hente data fra sine egne filer, vel...
/raz
PS: Og nu får jeg sikkert skældud...men hallå det gør vi PHP-eksperter jo tit(ihvertfald hvis vi arbejder med filer)
PPS: Og så synes jeg at der er ved at være en meget skarp tone herinde på eksperten - er det mon vejrliget?? ;-)
Avatar billede _darkstar_ Nybegynder
09. januar 2003 - 10:35 #16
Jeg er bare lidt træt af at blive afvist uden begrundelse, når jeg kommer med det første bud på et reelt svar.
Avatar billede olebole Juniormester
09. januar 2003 - 17:51 #17
bytebits >> Hvorfor afviser du et korrekt svar?
Avatar billede c_nova Nybegynder
09. januar 2003 - 17:57 #18
måske fordi manden oxo ville vide hvordan man kan gøre det..!!! bare en idé jeg har..!!
Avatar billede olebole Juniormester
09. januar 2003 - 18:09 #19
Han spørger ikke om det - og det ville i øvrigt ikke være i overensstemmelse med E's regler at spørge - eller give svar - på det spm.
/mvh
Avatar billede bytebits Nybegynder
09. januar 2003 - 19:10 #20
rzj>> Jeg kaldte dig begavet fordi det var en behagelig forandring at blive præsenteret for noget faktuelt - for mig - ny information (rdf-stream og link'et) som kunne bringe mig videre, i modsætning til halvhellige  sure opstød over det betimelige i at rippe.

darkstar>> Svaret afvist fordi det ikke bibragte mig noget jeg vidste i forvejen incl. den lille engelsklektion :-).Havde selv søgt på rip, rips og ripping som ikke gav noget brugbart. Men tak for underholdingen - det gir' altid anledning til lidt moro når folk klager over stavningen når de ikke
"slev" (rippet fra dit indlæg) ka' stave.
Søges der derimod på web - og/eller screenscraping kommer der et væld af goodies op.

Og til rzj's sidste link vil jeg blot sige at jeg er en af de virkeligt slemme drenge og mit rip og valutakursen vil i høj grad blive brug i en kommerciel sammenhæng.
Det er grotesk latterlig enerverende rutinearbejde og tidsspilde og tangerende samfundsskadelig virksomhed at tusindvis af mennesker hver dag manuelt skal taste dagens aktuelle valutakurs ind.
Hvadenten det er en faktura der skrives i word eller den generes automatisk når der afgives en bestilling over webbet skal dagens aktuelle vekselkurs automatisk poppe up og indsættes i dokumentet - og sådan bliv' det.
Og så vil jeg sk... højt og flot på de eventuelle juridiske implikationer i det.
Iøvrigt har lovgivning altid haltet uhjælpeligt bagefter udviklingen, som den jo så indlysendende også gør i dette tilfælde.
Avatar billede bytebits Nybegynder
09. januar 2003 - 19:23 #21
Hvis der er nogle som har noget at sige så er der 30 points til gratis afhentning.
Avatar billede olebole Juniormester
09. januar 2003 - 19:25 #22
Det kan godt være, du vil 'sk... højt og flot på de eventuelle juridiske implikationer i det', men pas nu på, du ikke får hård mave  ;o)
Det er der flere, der har fået på det sidste - med konkurs til følge.
NewsBooster er f.eks. flyttet til England og Singapore af samme årsag - men bliver nu formodentlig retsforfulgt der. Den danske afdeling (som er den oprindelige) er i konkurs.

Ja, lovgivningen halter uhjælpeligt efter - ikke mindst efter det nyimpementerede EU-InfoSoc-direktiv - men det gør ikke hovedpinen mindre, når man bliver nakket for at overtræde den.
/mvh
Avatar billede bytebits Nybegynder
09. januar 2003 - 19:42 #23
olebole>>
Nu er der jo en forskel på at rippe headlines og hele artikler - de ka' spores - ku' bli' et problem at finde ud af hvor jeg har vekselkursen fra og "who'd care".
Skader jo ikke just f.eks. Nationalbankens omsætning - tværtimod:-)
Avatar billede olebole Juniormester
09. januar 2003 - 20:50 #24
Hvis ikke du har din egen server og ikke kender HTTP-protokollen rigtig godt, kan du sagtens spores ... uanset, hvad du ripper.

Det har heller ikke noget at gøre med 'headlines og hele artikler' at gøre ... selvom NB bare skrev et link og noget af overskriften (hvad de prøvede at imødekomme DDF med), blev de lukket af fogeden.
Faktisk blev de slet ikke lukket på grundlag af den alm. ophavsretslov, men på grund af, at de 'systematisk tappede trediemands databaser'. Det var lovgivningen om databaser, de blev knaldet på ... ikke nogen af de ting, der beskrives i bag linket rzj tidligere pegede på.

NewsBooster's aktiviteter fremmede helt klart DDF's medlemmers omsætning, Men de blev knaldet alligevel. Selvom NB kunne dokumentere, at flere journalister under DDF havde benyttet tjenesten ualmindelig flittigt.

Samtidig var det ikke alle DDF's medlemmer, der var med i sagen (det var kun udvalgte dagblade) ... flere så hovedrystende til, mens Thøger og de andre dinoer kæmpede mod vejrmøllerne. Hvem havde dog nogensinde troet, en service som en informationsagent kunne være ulovlig? Det havde været på alles ønskeliste siden midten af 90'erne.

Det betyder, man nu har aflyst Videnssamfundet - og vi må nøjes med at spilde oceaner af tid med at forsøge at få styr på den overvældende info-mængde i Informationssamfundet (tilstedeværelsen af viden er jo ikke nødvendigvis kongruent med tilstedeværelsen af information).
Tro ikke, samfundet er styret af logik ... ej heller forretningsmæssig logik  ;o)
/mvh
Avatar billede olebole Juniormester
09. januar 2003 - 20:51 #25
PS: DDF = Danske Dagblades Forening
Avatar billede bytebits Nybegynder
09. januar 2003 - 21:15 #26
Går op i døgneren og investerer i 6 plastikøl - er tilbage omlidt
Avatar billede rzj Nybegynder
10. januar 2003 - 10:45 #27
bytebits>> Altså jeg ved virkeligt ikke om du kan bruge det til noget fornuftigt, men der findes jo exchange rate services, der oven i købet stiller html kode osv. til rådighed. Jeg fandt flg: http://www.xe.com/sitemap.htm#webmasters
ved en søgning på exchange rates.
Ovenstående stiller såvidt jeg umiddelbart kan se kvit og frit en 'rip' service til rådighed. Jeg ved som sagt ikke om det er uden reklamer, men mon ikke du kan finde noget mere på søgningen...?
olebole>>Det link jeg henviste til var umiddelbart hvad jeg kunne finde på JM i farten angående opretshaver rettigheder ift. digital kommunikation. Der findes sikkert langt bedre og mere brugervenlige kilder, men jeg ved ikke hvor?
/rasmus
Avatar billede olebole Juniormester
10. januar 2003 - 11:03 #28
Jamen, Rasmus ... det kan så sandelig også være lidt af en jungle og InfoSoc-direktivet er som sagt lige blevet implementeret ... desværre  :(

Før jeg startede i denne branche, var jeg lydtekniker i 20 år og gift med en professionel musiker (medlem af KODA og Statens Musikråd) i 10, så jeg har vel egentlig et lille 'forspring' på ophavsrets-området  :)

Her er dog et rimelig godt link med masser af info og links videre ud i verden:
  http://www.digitalforbruger.dk/
/mvh
Avatar billede olebole Juniormester
10. januar 2003 - 11:12 #29
Endvidere kan du læse her om NewsBooster-sagen:
  http://www.newsbooster.com/?pg=presscenter&lan=dk
Der er retsreferater og oplysninger om paragrafferne, der blev brugt.
/mvh
Avatar billede rzj Nybegynder
10. januar 2003 - 11:26 #30
olebole>>takker. Jeg har allerede lagt min underskrift på digitalforbruger.dk. Den nye lov er simpelthen ikke gennemtænkt...
Avatar billede olebole Juniormester
10. januar 2003 - 11:30 #31
Nej, det tør antydes  :D
Avatar billede binderup Nybegynder
14. august 2003 - 22:45 #32
Det er godt nok ved at være et stykke tid siden der har været indlæg her i denne tråd, men jeg fandt denne side på den europæiske central banks hjemmeside: http://www.ecb.int/stats/eurofxref/ her er der et link til et XML feed som man kan bruge til at regne kurser ud med (filen er tilbudt til at blive parset så man har med andre ord lov til at bruge den).

Hvis man vil have dollar kursen så er det efter formlen: (DKK/USD)*100 (gange med hundrede da det er den danske måde at regne kurser ud på. Ved det ovenstående giver den hvor mange danske kroner der skal til for at købe 100 US dollars.
Avatar billede alleykat Nybegynder
07. september 2004 - 06:37 #33
Øhm hvis jeg må komme med en lillebitte kommentar så er 98% af diskussionen i denne ældgamle tråd helt hen i skoven... Nationalbanken er en national institution med en af dens opgaver værende at publicere information om valutakurser. De gør faktisk udtrykkeligt opmærksom på flere steder at informationer fra dem frit må bruges, også på websteder mv.

Som en helt anden ting: Masser har gjort opmærksom på problemerne med deeplinking - i kommercielt øjemed - men hvad med os der bare vil bruge det på vores helt helt private startside? Det er i hvert fald fuldt lovligt. Og der er intet ulovligt i at skrive en stump kode der viser hvordan XML parses, går jeg stærkt ud fra!!

Jeg ser til gengæld ikke nogen løsning på at få det vist hér i tråden. Jeg har kæmpet med diverse XML-parsere det meste af natten, og de er ikke glade for formatet... eller osse kan jeg bare ikke hitte ud af det. Skal jeg starte en ny tråd, eller findes der nogen der 'tør risikere' (LOL) deres medlemsskab af eksperten på det?
Avatar billede olebole Juniormester
07. september 2004 - 17:25 #34
alleykat >> Som du selv anfører, er tråden ældgammel. Da denne diskusion i sin tid kørte, tilbød Nationalbanken ikke et XML-feed. Det gør de nu og det er en voldsom forskel.
Blot fordi den er en offentlig institution, må du ikke rippe informationer fra deres site uden explicit tilladelse. Den tilladelse har vi nu, men den var ikke tilgængelig for et år siden. Det ved jeg, fordi jeg selv har skrevet en valutatjeneste for et firma på nettet og derfor har skulle indhente de fornødne tilladelser. Så lige dér er det dig, der er helt hen i skoven  ;o)

Du kan såmænd godt få koden, men der er ingen grund til at grine fjollet. Hvis den var blevet skrevet i dette spm. for et år siden, ville det formodentlig have medført ekslusion.
Nationalbankens XML-format er ganske udmærket, så hvis du ikke kan finde ud af at parse det, har det altså ikke noget med dem at gøre  :)

<script type="text/JavaScript">
var xmlDoc, msg;
var oXmlHttp = new ActiveXObject( "Msxml2.XMLHTTP" );
var url = "http://www.nationalbanken.dk/dndk/valuta.nsf/valuta.xml";
oXmlHttp.Open("GET", url, false);
oXmlHttp.Send();
xmlDoc = oXmlHttp.responseXML;

currNodes = xmlDoc.selectNodes("/exchangerates/dailyrates/currency");
for ( i=0; i<currNodes.length; i++ ) {
    msg = "Code: " + currNodes(i).getAttribute("code") + "\n";
    msg += "Descr: " + currNodes(i).getAttribute("desc") + "\n";
    msg += "Rate: " + currNodes(i).getAttribute("rate");
    alert(msg);
}
</script>

... simple as that  :)
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Vi tilbyder markedets bedste kurser inden for webudvikling

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester