Download en fil fra en webserver vha c++

Sagtens du laver en socket connection, sender din HTTP request og læser resultatet.

Her er et super simpelt eksempel som requester en kendt side og udskriver den til
skærmen:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

#include <windows.h>
#include <errno.h>

void get(char *hostname,int port,char *path)
{
  int sd,status,len,ix,tmp;
  char cmd[512],resp[51200];
  struct sockaddr local,remote;
  struct hostent *hostinfo;
  /* create socket */
  sd=socket(AF_INET,SOCK_STREAM,0);
  if(sd<0) {
      printf("Error creating socket: %s\n",strerror(errno));
      goto fin;
  }
  /* bind socket */
  local.sa_family=AF_INET;
  memset(local.sa_data,0,sizeof(local.sa_data));
  status=bind(sd,&local,sizeof(local));
  if(status<0) {
      printf("Error binding socket: %s\n",strerror(errno));
      goto fin;
  }
  /* lookup host */
  hostinfo=gethostbyname(hostname);
  if(!hostinfo) {
      printf("Error looking up host: %s\n",hostname);
      goto fin;
  }
  /* connect to host */
  remote.sa_family=hostinfo->h_addrtype;
  memcpy(remote.sa_data+2,hostinfo->h_addr_list[0],hostinfo->h_length);
  *((short *)remote.sa_data)=port;
  tmp=remote.sa_data[0];
  remote.sa_data[0]=remote.sa_data[1];
  remote.sa_data[1]=tmp;
  status=connect(sd,&remote,sizeof(remote));
  if(status!=0) {
      printf("Error connecting to host: %s port: %d\n",hostname,port);
      goto fin;
  }
  /* send GET request */
  sprintf(cmd,"GET %s HTTP/1.1\r\nHost: %s\r\n\r\n",path,hostname);
  status=send(sd,cmd,strlen(cmd),0);
  if(status<0) {
      printf("Error sending GET request\n");
      goto fin;
  }
  /* read response */
  ix=0;
  while ((len=recv(sd,resp+ix,sizeof(resp)-ix-1,0))>0) {
      ix = ix + len;
  }
  resp[ix]='\0';
  printf("%s",resp);
fin:
  closesocket(sd);
  return;
}

int main(int argc,char *argv[])
{
  WSADATA WSAData;
  WSAStartup(0x0101,&WSAData);
  get("www.eksperten.dk",80,"/");
  WSACleanup();
  return 0;
}

Du kan nemt rette det til så den gemmer til en fil i.s.f. at udskrive til skærmen.

Ah. Du skal selvfølige skrælle HTTP headerne af i svaret.

Her er en tilrettet download version:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

#include <windows.h>
#include <errno.h>

void get(char *hostname,int port,char *path, char *fnm)
{
  FILE *fp;
  int sd,status,len,ix,tmp;
  char cmd[512],resp[51200],*body;
  struct sockaddr local,remote;
  struct hostent *hostinfo;
  /* create socket */
  sd=socket(AF_INET,SOCK_STREAM,0);
  if(sd<0) {
      printf("Error creating socket: %s\n",strerror(errno));
      goto fin;
  }
  /* bind socket */
  local.sa_family=AF_INET;
  memset(local.sa_data,0,sizeof(local.sa_data));
  status=bind(sd,&local,sizeof(local));
  if(status<0) {
      printf("Error binding socket: %s\n",strerror(errno));
      goto fin;
  }
  /* lookup host */
  hostinfo=gethostbyname(hostname);
  if(!hostinfo) {
      printf("Error looking up host: %s\n",hostname);
      goto fin;
  }
  /* connect to host */
  remote.sa_family=hostinfo->h_addrtype;
  memcpy(remote.sa_data+2,hostinfo->h_addr_list[0],hostinfo->h_length);
  *((short *)remote.sa_data)=port;
  tmp=remote.sa_data[0];
  remote.sa_data[0]=remote.sa_data[1];
  remote.sa_data[1]=tmp;
  status=connect(sd,&remote,sizeof(remote));
  if(status!=0) {
      printf("Error connecting to host: %s port: %d\n",hostname,port);
      goto fin;
  }
  /* send GET request */
  sprintf(cmd,"GET %s HTTP/1.1\r\nHost: %s\r\n\r\n",path,hostname);
  status=send(sd,cmd,strlen(cmd),0);
  if(status<0) {
      printf("Error sending GET request\n");
      goto fin;
  }
  /* read response */
  ix=0;
  while ((len=recv(sd,resp+ix,sizeof(resp)-ix-1,0))>0) {
      ix = ix + len;
  }
  body = strstr(resp,"\r\n\r\n") + 4;
  fp = fopen(fnm,"wb");
  fwrite(body,ix-(body-resp),1,fp);
  fclose(fp);
  resp[ix]='\0';
fin:
  closesocket(sd);
  return;
}

int main(int argc,char *argv[])
{
  WSADATA WSAData;
  WSAStartup(0x0101,&WSAData);
  get("www.eksperten.dk",80,"/img/elogo.png","elogo.png");
  WSACleanup();
  return 0;
}

kan jeg bruge det i en projekt fra Borland C++ Builder 6.0 ?

Ja da.

Du skal bare copy paste get funktionen ind i din kode.

Får bare en del compilerfejl, og tænkte at jeg måske sætter det ind det forkerte sted. Jeg har prøvet at compile med en command line compiler, og det virker som det skal..

Første fejl i builderen er her:

struct sockaddr local,remote;

lige efter local

Har du inkluderet de rigtige header filer ?

Har du andre ting som hedder local og remote ?

(prøv evt. at omdøbe til mylocal og myremote)

Hvis disse linier er i starten af min kode,
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

#include <windows.h>
#include <errno.h>
så har jeg vel inkluderet de rigtige filer.. nogen libs jeg skal tage med?
prøver mig frem igen i morgen :)

Header filerne ser rigtige nok ud.

Hvad er det for nogen fejl du får ?

Jeg har fået det til at virke.. går ud fra at jeg måske har inkluderet headerfilerne et forkert sted. Bortset fra det er det meget overskuelig kode i dit eksempel. Jeg har bare ikke mega meget erfaring med c++ Builderen :)

Tak

lige et opfølgende spørgsmål: 

hvad gør følgende kode?

  WSADATA WSAData;
  WSAStartup(0x0101,&WSAData);

og 

  WSACleanup();

Mvh
Dennis

Det er noget winsock specifikt. De to første skal være der inden man starter
på at bruge TCP/IP og den sidste skal være der efter at man er færdig med
at bruge TCP/IP.

http://msdn.microsoft.com/library/default.asp?url=/library/en-us/winsock/winsock/wsastartup_2.asp
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/winsock/winsock/wsacleanup_2.asp

Er ked af at jeg bliver ved at vade rundt i det her spgs, men jeg har problemer med at hente filer fra nogen servere, og ikke fra andre.. fx kan jeg godt hente ekspertens logo, men der er andre steder hvor det ikke virker. Den crasher ved denne linie:

  while ((len=recv(sd,resp+ix,sizeof(resp)-ix-1,0))>0) {
      ix = ix + len;
  }

En fil den fx ikke kan hente rigtigt: www.wogaming.com/test.gif

Kan der være noget galt i den while løkke?

Mystisk jeg kan godt hente lige netop den.

Der er en buffer size på 51200 til både billede og HTTP headere.

Hvis det er store billeder skal den sættes op.

(ved meget store billeder skal logikken nok ændres så der løbende skrives
til disk)

Har prøvet at ligge elogo.png over på en anden server og hente den derfra hvor den fejlede.. ligner altså ikke så meget at det har noget med filen at gøre, men kan ikke gennemskue det, for det virker lidt tilfældigt hvar der virker og hvad der ikke gør.

Svært at sige hvad der er galt.

Jeg tror at du bliver nødt til at debugge lidt og finde ud af hvad resp og ix
indeholer når det går galt.

prøv med denne her: http://www.robinhus.dk/upload/boligfoto/store/65845.jpeg

hvis du også kan hente den uden problemer, så må jeg jo bare igang med at debugge fra en ende af :)

Ah. Den hang også hos mig.

Så rettede jeg sprintf til:

  sprintf(cmd,"GET %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n",path,hostname);

og så virkede det igen.

Prøv lige det !

Tak! Havde ikke selv kunne regne ud at når den hænger i en while løkke så var det faktisk GET requestet der var en fejl i..

:o)

Case closed.. (for nu)

case open..

/* read response */
  ix=0;
  while ((len=recv(sd,resp+ix,sizeof(resp)-ix-1,0))>0) {
      ix = ix + len;
  }
  body = strstr(resp,"\r\n\r\n") + 4;
  fp = fopen(fnm,"wb");
  fwrite(body,ix-(body-resp),1,fp);
  fclose(fp);
  resp[ix]='\0';


^^ hvordan får jeg det til at skrive til filen i flere omgange så jeg ikke får en stack overflow hvis jeg prøver at sætte bufferen op.. jeg vil gerne kunne hente større filer :o)

Dennis

Utestet:

  int first;
...
  fp = fopen(fnm,"wb");
  first = 1;
  while ((len=recv(sd,resp,sizeof(resp),0))>0) {
      if(first) {
          body = strstr(resp,"\r\n\r\n") + 4;
          first = 0;
      } else {
          body = resp;
      }
      fwrite(body,len-(body-resp),1,fp);
  }
  fclose(fp);

hermed testet.. :o) og det virker.

tak. sad og rodede rundt i pointere og buffere og kunne ikke få den til at skrive det rigtigt.