lave et program der indsamler data fra forskellige websider?

Det kaldes også for screen scraping.

Du kan sagtens lave det i C# eller VB.NET.

Visual Studio .NET er et glimrende udviklinsg værktøj til det.

Kig på klasserne (Http)WebRequest og (Http)WebResponse.

Den store hurdle er nok juraen.

Så længe du kun bruger data selv, så tror jeg at du er på fast bund (principielt
laver du en web browser).

Men hvis du (ligesom betbrain) videreformidler det du har hentet fra
diverse web sites, så tror jeg at du skal have en tilladelse fra
de pågældende web sites.

cool det lyder jo godt, jeg vil kun bruge det til egen brug så det juridiske skulle ikke være et problem. Jeg læser i øvrigt selv jura :-)
Findes der nogen dk manual til brugen og er det til at give sig i kast med for en alm og forholdsvis dygtig pc bruger som dog ikke ved meget om programmering?

Der er mange forskellige måder at gøre det på. Hvis de steder du har tænkt dig at få informationerne fra allerede leverer data til andre websteder, kan det være at det stiller det til rådighed som en webservice eller måske som et rss feed.

Visual studio net er ikke bedre end så mange andre værktøjer... Når du skal lave opgaven synes jeg hellere at du skal starte med at finde ud af hvad der rent faktisk skal ske.

Hvis du ender med at skulle parse siden, kan du jo også bruge regulære udtryk. Det er understøttet i mange programmeringssprog.

-- sågar i javascript kan du uden problemer lave nummeret med at lave en httprequest, så du kan lave det som en ren html-side, hvor intet andet er nødvendigt !-)

1) vælg sprog
2) anskaf en bog om sproget
3) vælg værktøjer (editor og compiler)
4) lær sproget
5) screen scrape

-- og så skal du forøvrigt få dt gjort rigtigt i det andet spørgsmål !-)

hmmm rigtigt, du mener at jeg ikke har lukket sprg ordentligm, kan være jeg har misforstået og gjort det forkert. Kigger lige på det.
Det jeg helt præcist er, at lave et program der hele tiden viser hvor det højst tilgængelige odds er tilstede. I første omgang vil jeg forsøge med 10 forskellige bookmakers. Programmet skal køre i baggrunden hele tiden, så det hele tiden skal være realtime odds og ikke odds som evt er 2 til 3 timer gamle, da de kan være ændret i mellemtiden, ellers kunne jeg ligeså godt fortsætte med at bruge betbrain.
Det hele skal være automatiseret.
p.s er der et sted i Århus hvor de behandler folk for ludomani :-) hehe

arne_v  : Det er en underlig tilgang. Først skal han da lige finde ud af hvad han gør.
1) Hvad er det du vil gøre i dit program
2) Hvilket design har du tænkt dig (serverside/ clientside etc.)
3) Søg på internettet efter hvad andre har gjort før dig
4) Vælg sprog (du behøver ikke begrænse dig til ét sprog)

Det med at lære sproget er lidt tricky. Først og fremmest skal du vel lære at programmere.

Alt i alt synes jeg at det er en heftig opgave du har påtaget dig hvis du ikke har programmeret før:)  Held og lykke

runesoft>

Da #1 og #2 fremgår rimeligt klart af spørgsmålet så ...

Du har helt sikkert ret runesoft, men har en sommerferie hos mine forældre da jeg skal hjem og arbejde, så mon ik man kan finde en time eller to der. Det er også udfordringen for mig selv plus jeg har en ven som har meget mere forstand på det end mig, som jeg nok kan trække lidt på. Jeg vil dog ikke have han skal lave hele arbejdet.

Forøvrigt kom jeg til at tænke på en twist, som kan være svær at greje juridisk:

Hvis nu kurt'en lavede en side, som baserede sig på denne slags dataindsamling, men udnyttede på denne måde:

Manchester United-Chelsea:
1: Brug Bet-service.com.uk, X: Brug Lancaster-solvers.uk, 2: Brug Deutsche Wetten

-- er der så noget galt ?-)

Det er svært at sige.

Man kunne postulere brud på copyrigth, fordi man har publiceret indhold
fra en anden web side uden at spørge om lov.

Man kunne postulere noget kommercielt snylteri a la den meget omtalte
newsbooster deep linking sag.

Jeg ville konsultere en meget god advokat inden jeg ville turde publicere
screen scraped indhold.

Til eget brug tror jeg at man er på sikker grund. MSIE, Mozilla, Opera eller
mit hjemme strikkede program ? Det tror jeg ikke at de kan tillade sig
at diskrimere på.

>>arne

Den er netop kryptisk, hvis det er det juridiske, man skal kigge på:

-- du publicerer ikke indhold, som ikke er kendt og offentligt i forvejen ...
(for alle og enhver ved at både det ene og det andet firma altid har alle Premier League-kampe på programmet !-)

-- med den opstilling jeg har lavet (selv med link til den relevante bettingside indeholdt) laver man faktisk ikke andet end gratis reklame ...

-- til gengæld er der ikke tvivl om, at man modarbejder dem kommercielt, da selv små forskelle i odds gør en stor forskel ...

Du mener at fordi man ikke publicere de odds man har screen scraped men kun
konklusionen ud fra dem, så er man på den sikre side ?

Måske. Lyder meget plausibelt. Hvis man manuelt gik ind og læste
odds og skrev manuelt en web side med anbefalinger kan ingen vel brokke sig.
Og så er det bare en automatisering.

Men jeg vil stadigvæk anbefale konsultere en advokat i dette tilfælde.

Udover juraen så er der også den lile detalje at hvis de brugte web sites
ikke kan lide ens projekt så kan de genere en på det grusomste (ændre
formater, blokere IP adresser etc. - naturligvis fredag kl. 16 altid !).

Jeg vil formode at Betbrain har en aftale med web sitene.

Jepz ...

-- og det sidste tror jeg, du har ret i !-)

arne_v: Selvom du siger det formålet fremgår klart, så synes jeg nu alligevel at diskutionen er drejet over i at at være om hvad programmet skal kunne og hvorfor ;)

Som det fremgår af mine tildlige kommentarer, så tror jeg også at betbain har en aftale.

Hvis du kun skal bruge programmet privat, og du tænker dig om tror jeg godt at du kan lave et funktionelt program alligevel.

Først skal du finde ud af om stederne leverer data i form af webservices eller endet du kan tilgå programmatisk. Derefter skal du overveje din opdateringsrate. Selvom du gerne altid vil være opdateret kan du jo bare opdatere når du selv opdaterer din browser(eller hvad du nu udvikler det i). Du har vel kun brug for nye data, når du selv kigger på skærmen eller hvad?. Det vil fra udbyderens side ikke være meget anderledes end at du selv gik ind og checkede odds en gang imellem.
Formuleret på en anden måde vil det bare svare til at du har implementeret din egen browser til at se deres sider i. Det lyder ikke særligt kriminelt i mine ører.

Som en side note kan jeg fortælle at BetBrain bruger dansk teknologi i form af Kapow - http://www.kapowtech.com/

Mange tak for alle de gode indlæg. Er der nogen som selv har lavet et program magen til, eller som har samme slags "skelet" med at indsamle data fra forskellige hjemme sider, ex screen scraping. Det kunne være rart hvis jeg kunne få et program som jeg kan se hvordan virker og ændre i det så det vil komme til at passe med det som jeg ønsker. Hvis nogen har et program de selv har lavet i evt i wisual studio.net så kan de i en begrænset periode uploades på følgende adr: http://80.198.62.189/
cobain

Jeg lavede på et tidspunkt det her til at skrælle lotto tallene af DR TTV:

using System;
using System.IO;
using System.Net;

class MainClass
{
    public static void Main(string[] args)
    {
        HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.dr.dk/cgi-bin/fttx1.exe/291");
        HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
        Stream stm = resp.GetResponseStream();
        int c;
        string res = "";
        while((c = stm.ReadByte()) >= 0) {
                res += (char)c;
        }
        stm.Close();
        resp.Close();
        int ix = res.IndexOf("VINDERTAL:");
        while(res[ix] != '\n') ix++;
        ix++;
        while(res[ix] != '\n') ix++;
        ix++;
        int ix2 = ix;
        while(res[ix2] != '\n') ix2++;
        string nbrs = res.Substring(ix, ix2-ix);
        Console.WriteLine(nbrs);
    }
}

OK ?

takker må se hvad det bliver til :-)