Hjælp til kode i c#

Det pågældende website kræver (vistnok) TLS 1.3 - og fra og med .Net 4.8 er det (vistnok) med i C#.

Nå, subscene.com tillader if'ølge https://www.cdn77.com/tls-test også 1.2 - som din kode skulle kunne bruge...

Nuvel - subscene.com anvender Cloudflare, som er kendt for af og til at spørge om du er et menneske eller en robot. Dit program er tydeligvis en robot, og bliver måske afvist af samme årsag.

har prøvet af tilføje TLS 1.3 det hjælp ikke nogen ide til det med Cloudflare hvordan man kommer udeom det ???  hvis det er derfor det ikke dur

mvh offenbach

"Hvis det er derfor" ... det er lige spørgsmålet når fejlbeskeden er så generel ;)

Men derfor er det også sjovt. Cloudflare skriver at en 403 ikke behøver komme fra Cloudflare selv.

Med et lille Python script der forsøger at hente https://subscene.com/ får jeg også "HTTP Error 403: Forbidden"

Måske subscene slet ikke kan lide robotter (web-scrapers...)?

Jeg kigger lidt videre.

Jamen, den side vil have en User-Agent - og måske een der ligner en rigtig browser. Jeg havde ikke lyst til at ødelægge en ellers god lørdag med at starte en Windows op, så eksperimentet er i Python på Linux, men ideen er ret sikker det samme. I koden nedenfor tilføjer jeg en "tilfældig" User-Agent, og så får jeg noget der ligner deres startside. Du kan sikkert gøre det samme i C#

import urllib.request

req = urllib.request.Request(
    "https://subscene.com/",
    data=None,
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

page = urllib.request.urlopen(req)
print(page.read())

Og reaktionen med 403 siges at kunne komme fra: "The host site rejection is coming from the OWASP ModSecurity Core Rules for Apache mod-security. Rule 900002 has a list of "bad" user agents".

Det er lidt "security by obscurity" at prøve at frasortere robotter på den måde, når det tilsyneladende så nemt kan omgås.

ja ok prøver lige af rude med de oplysninger jeg af dig 1000 tak

Og det må være:

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("https://subscene.com/");
request.UserAgent ="User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36";

i C#.

Ups. Fik ikke slettet nok.

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("https://subscene.com/");
request.UserAgent ="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36";

Hvis du kører på Windows skulle du måske vælge en Windows browser id fremfor en Mac browser id.

hej ja jeg køre windows jeg prøver lige det her tak

har lige prøvet det her men det virkrt heller ik


HttpWebRequest request = (HttpWebRequest)WebRequest.Create("https://subscene.com/");
            request.UserAgent = "user - agent" + "Mozilla / 4.0(compatible; MSIE 6.0; " +
                                  "Windows NT 5.2; .NET CLR 1.0.3705";


jeg bruger windows 7 og 10 en der nogen spicel til dem ??

mvh offenbach

Når du skriver af fra et løsningsforslag, så gør det rigtigt. Ikke "user - agent"  men "User-Agent".

Men læg mærke til Arnes rettelse i #10.

har fundet en der virker nu tak for alt hjælpen her inde

SVAR TIL ANDER

TRÅDEN ER LUKKET

-------------------------------------------------------------------

  String responseBody = "";
            String requestString = "https://subscene.com/";

            try
            {
                //Make the request
                var request = (HttpWebRequest)WebRequest.Create(requestString);

                request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)";
                request.Timeout = 15000;
                request.Method = "GET"; //GET, POST
                request.Accept = "application/json";
                request.ContentType = "application/json; charset=utf-8";

                using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
                {
                    var stream = response.GetResponseStream();
                    using (var reader = new StreamReader(stream))
                    {
                        try
                        {
                            responseBody = reader.ReadToEnd();
                            reader.Close();
                        }
                        catch { }
                    }
                    response.Close();
                    response.Dispose();
                    responseBody = responseBody.ToLower();
                }
            }
            catch (WebException ex)
            {
                //Show Error
                MessageBox.Show(ex.ToString());
            }

            richTextBox1.Text = responseBody;
          //  MessageBox.Show(responseBody);

Hvis du har fået brugbar hjælp bør du med de løsnings forslag der  er er kommet markere disse så man kan se hvad der hjælp dig. Det er faktisk ikke særligt svært.  Ud fra hvert indlæg kan du markere om de bidrog til løsningen.

Der lægges jo ikke svar som man gjorde før i tiden. I dag er det spørger der vælter hvilke indlæg der har bidraget med løsning.

Tak👍

#15

Har du brug for:

request.Accept = "application/json";
request.ContentType = "application/json; charset=utf-8";

?

ContentType giver kun mening med POST og PUT ikke med GET.

Accept med application/json bruges normalt ved kald til web service ikke ved kald til web side.

#15

Hvis data kun skal læses uden videre så er WebClient nok nemmere end WebRequest.

WebClient cli  = new WebClient();
cli.Header["User-Agent"] = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)";
string response = cli.DownloadString("https://subscene.com/");

Utestet!!

det dur også fedt det er meget nemmer med WebClient
1000 tak