søgning i html

Umiddelbart mener jeg at der er 3 muligheder:

1)  håndkodet løsning med bruge af IndexOf til at finde delene

2)  løsning med regular expression

3)  hvis det er validt XHTML så brug en løsning med XML parser

vil umiddelbart tro at det bedste ville være at lave et DOM af siden og lave søgningen i den.

Efter lidt søgning på nettet viser det sig dog at det er svært at finde nogle DOM Inspectors som kan bruges i sin egen kode, de er alle færdige programmer :S

http://www.google.dk/search?hl=da&client=firefox-a&rls=org.mozilla%3Aen-US%3Aofficial&q=DOM+inspector&btnG=S%C3%B8g&meta=

html koden er placeret i et dom...

så spørgsmålet er - hvordan søger jeg effektivt i et dom tree. nodes har x antal childs og er knyttet til 1 parent.

public void FollowNode(HtmlNode node)
        {
            ProcessNode(node);
                if (node is HtmlElement)
                {
                    HtmlElement tempHN = (HtmlElement) node;
                    if (tempHN.Nodes != null)
                    {
                        HtmlNodeCollection children = tempHN.Nodes;
                        foreach (HtmlNode child in children)
                        {
                            if (child is HtmlElement)
                            {
                                FollowNode(child);
                            }
                        }
                   
                    }
                }
           
        }
        public void ProcessNode(HtmlNode node)
        {}

Jeg har fået lavet ovenstående - en depth first search - spørgsmålet er nu hvordan jeg får søgt på eks. følgende ".*.table.table.img". Stjernen er ment som relativ søgning - dvs. søg i strukturen indtil der findes en tabel som har "tabel" som child og "img" som child

Det er ikke en god måde at søge på.

Brug XPath. På en dom findes der typisk en funktion der hedder SelectNodes eller lign. Den tager en xpath som returnere de node du er ude efter. f.eks.

/html/*td  vil retunere alle td. XPath er ret stærkt mange muligheder vil råde dig til at læse lidt om dem på nettet da hurtigt kan blive din ven. Har selv arbejdet 1.5 år med extracting af html. Og det bedste er en kombination af Regex og XPath.

tak for et svar - XPath kender jeg ikke men lyder interessant - eneste problem er at det dom jeg bruger ikke har en "selectnodes" - har kildekoden til dom'et - kan jeg evt. selv implementere xpath? hvad er det præcist?

".*.table.table.img" - vil jeg kunne finde ovenstående struktur vha. regex?

hvor får du din DOM fra? Er det fra java ?

Kan du give et link til hvad det er for noget DOM kode du bruger ?

Så kan vi muligvis komme med en god ide.

XPath er XML, så den kan vel kun bruges til valid XHTML.

Hun siger hun har en DOM så vi må vel gå ud fra det er wellformed. Og de fleste DOM har en eller anden form for XPath indbygget. Men kunne være godt lige at se lid tkode.

http://www.codeproject.com/dotnet/apmilhtml.asp

Det er så nok ikke et DOM - men html'en placeres i en tree struktur. Er det eneste af den slags jeg har kunnet finde med kilde kode til og skrevet i c#

Har lige siddet og leget lidt med hans kode og kan se den returnere en XHTML som du kan proppe i et XmlDocument og derfra bruge XPath. Inden du lader dig skræmme skal jeg lige sige XPath er ret simpelt of ret lige til. Men skal lige sige han HTML parser desværre langt fra virker på alt html. Det er der faktisk ikke mange parseere der gør. Hvorfor bruger du ikke MSHTML som har en indbygget dom. Det er den IE bygger på.