Anonym 'webcrawling' via php

Du skal vel bare redigere de headers du sender med når du henter filen? :)


$host = "www,eksempel,dk"; // udskift , med .
$ref_url = "http:||www.eksempel.dk/test.html"; // udskift || med //

// construct a header for our request
$hdrs = array( 'http'=>array(
    'method'=>"GET",
    'header'=>array("accept-language: da",
        "Host: $host",
        "Referer: $url",  // Setting the http-referer
        "Content-Type: html/text",
        "User_agent: Mozilla"
        )
    )
);

$context = stream_context_create($hdrs);
$fp = file_get_contents($url, false, $context);

echo utf8_encode($fp);

Nu sender du http://www.eksempel.dk/test.html som referer og lader som om request kommer fra host www.eksempel.dk

Fortryde at have hjulpet her, når jeg ser at du har !!!!!!! 3.260 !!!!!!! points ude!!!!!

Få lukket de spørgsmål : http://www.eksperten.dk/list/aabnespoergsmaal/djthomsen

Det er jeg da ked af at du har fortrudt... Skal nok forsøge at få dem lukket :)

Kan du uddybe dit script bare en anelse ? Ville være en stor hjælp :)

<ole>

Det er der ingen grund til at fortryde. En forespørgsel med den viste kode vil enhver professionel webudvikler ryste på hovedet af. Den vil springe umiddelbart i øjnene - er lige til at gennemskue - og absolut ikke i nærheden af at være anonym  =)

Og nej, jeg hjælper naturligvis ikke med den slags. Det er mere end almindelig idiotisk at spørge om i et forum, hvor mange svar kommer fra folk, der lever af webudvikling! Det svarer til at gå ned i banken og spørge, hvordan man bedst laver et bræk hos dem uden mulighed for at blive opdaget. Derudover er det i allerbedste fald på kant med Ekspertens regler.

/mvh
</bole>

Ole, tyv tror hver mand stjæler! Det siger vist mere om dig end om mig at du formoder at jeg vil gøre noget ulovligt / uetisk...

Hvis du absolut skal vide det, så er det faktisk en service jeg har betalt for. Grunden til at jeg vil være anonym er simpelthen at jeg ikke vil give informationer om serveren hvor jeg henter filerne til netop for at forebygge for 'forkert' adfærd den anden vej...

Men tak for dit indspark, det er rart at selvom man intet konstruktivt har at komme med, stadig gerne vil velsigne os med en masse mudderkast...

Når du stiller spørgsmål, der i dén grad lugter af plat, bør du naturligvis forklare dine bevæggrunde. Gør du ikke det, må du ved Gud finde dig i at blive mistænkeliggjort!

Hvorfor skal jeg forklare mine bevæggrunde?

Jeg skal ikke stå til regnskab for dig... Hvis du ikke føler du har lyst til svare på min spørgsmål så holder du dig bare væk... Kan ikke se hvad der hæver dig over os andre og giver dig ret til at bryde ind og sætte mærkater på folk og deres intensioner...

Nu har du kaldt mine handlinger mere end idiotiske og endda sammenlignet mig med en bankrøver, bare fordi du ikke lige kunne gennemskue mine intentioner. Nu håber jeg, til trods for at du har polstret tråden med injurier, at der findes nogen derude der stadig vil hjælpe mig.

Du står naturligvis til regnskab i forhold til alle Ekspertens brugere!

Når du stiller spørgsmål, der i dén grad lugter af kriminelle hensigter og ikke tydeligt gider forklare, at der ikke er tale om sådanne, må du finde dig i at blive mistænkeliggjort.

Jeg kan garantere dig, at din konto på det pågældende site vil blive deaktiveret, hvis du retter en forespørgsel som den ovenfor viste. Den vil lugte ligeså fælt for Admin på det sted, så md mindre han er komplet ligeglad med sikkerhed, vil det naturligvis få følger

Du har selv accepteret Ekspertens regler, da du oprettede din bruger. Her står eksplict: "Det er ikke tilladt at [...] spørge efter eller skrive tekst, der kan benyttes i ulovligt øjemed".

Og i den forbindelse bør du lægge nøje mærke til formuleringen "der kan benyttes i ulovligt øjemed"!

Orker næsten ikke begynde med dig. En rigtig internetdebattør. Kan du ikke bare holde dig væk?

Har forklaret hvad det skal bruges til og du har ingen anelse om hvilket site og regler jeg er underlagt så lad være med at fortælle hvad Admin vil gøre.

At du så har siddet og læst hele regelsættet til eksperten.dk igennem bare for at kunne komme med et modargument er godt nok grinagtigt... Alt kan benyttes i ulovligt øjemed. Selv det at du beskylder mig for at søge hjælp til en ulovlig handling er ulovligt. Det kaldes injurier...

Så kom du ned fra hesten og brug din fredag aften på noget andet end at lege 'crime fighter'... Der er intet at komme efter, det er helt legitimt... Håber virkelig du er færdig med at hijacke min tråd, men tvivler på at du ikke lige har et eller andet klogt at sige?

Skal jeg besvare din kommentar i den tone, du har slået an, er jeg ikke sikker på, jeg kan hold den 'sobre tone', reglerne kræver, så det afstår jeg fra!

Admin er kontaktet. Så må han afgøre, hvorvidt der er tale om injurierende udtalelser eller et upassende spørgsmål!

Det her er simpelthen sørgeligt...

Ja!

Er det muligt at gøre denne anonymt? Altså implementerer noget i mit script så min ip (el. rigtige ip) osv. ikke bliver givet til serveren hvorpå filerne ligger?

Lugter en smule af screen scraping.

Man screen scraper ALDRIG fra et website man ikke selv har rettighederne til..

Hvis et site tillader datamining, har de som regel en specific API til dette formål.

imdb.com er et glimrende eksembel at bruge her, de tillader absolut ikke screen scraping, men har valgt at stille en offentlig api til rådighed, så folk der har behov for deres data, kan gøre det uden at bryde nogle regler.

Hvis du har tilladelse til det, som du siger du har, kan jeg ikke forstå hvorfor du vil være så hemmelig når du gør det?

Jeg kan godt forstå oleboles frustrationer over dette spørgsmål.

Hvis du i fremtiden vil undgå diskussioner som denne her, kunne du have startet med at forklarer helt præcist hvad dine intentioner samt formål er, evt. vedlægge et link der rent faktisk virker, så vi kan se vi ikke er med til at bidrage til nogle lov brud.

Uanfægtet af diskussionen ovenfor - så bad du mig forklare scriptet.

Jeg har selv brugt dette script til det formål, at bypass en htaccess rewrite regl mod download af billeder - som var ved en host.

Jeg havde dog fået lov til at bruge de billeder, men ejeren af sitet ville ikke rode i sin htaccess og ville ikke betale en freelancer eller programmør for at redigere ind at jeg havde ret. Og jeg kunne så heller ikke selv få lov til at gøre det gratis for ham... Derfor dette script.

Scriptet er i en gråzone, det er brugbart, men som ole siger, så er det ikke decideret sikkert. Det fortæller udelukkende serveren noget andet end man egentlig normal ville sende i en referer string osv.

Jeg har forsøgt at forklare det på min side her: http://test.modified.dk/referer.php

Jeg kan ikke forstå hvorfor vi forsætter med at debattere screenscraping, rettigheder osv?!?!

Har jeg ikke forklaret at det ikke er ulovligt?!

Men nu må jeg hellere fortælle ALT hvad jeg kan inden nogen melder mig til politiet for at planlægge kriminaliteter...

Jeg har KØBT mig "adgang" til en database. Dvs. at jeg har købt et dump for $200, for at være specifik. Hver række i databasens eneste tabel har et referat tilhørende, som er gemt på serveren i en txt fil. Dem har jeg ligeledes fået rettighed til og derfor oplyst en adresse hvor de lægger som id.txt.

Serveren er placeret i Rusland og jeg finder den en smule sketchy. Serveren hvorpå jeg selv vil hente filerne til vil jeg gerne beskytte mest muligt, da jeg ingen forstand har på at opsætte god nok sikkerhed. Derfor forsøger jeg at finde en løsning hvor jeg afgiver så lidt information som muligt.

At jeg fortæller dette er ikke fordi at jeg nu vil have en lektion i sikkerhed på en server eller om hvor at man ikke skal betale for adgang til en server man ikke stoler 100 % på. Fortæller det udelukkende fordi at jeg gerne vil have hjælp til mit problem, selvom jeg mener at det nok er for sent nu da min tråd nu åbenbart kun skal handle om 1. at I tror jeg vil gøre ulovligheder og 2. hvorfor jeg vil gøre ulovligheder.

Men der er nu et spinkelt håb i mig endnu om, at nogen måske vil afhjælpe mig mit problem.

@Buzz

Er glad for du er hængt på. God beskrivelse, begynder at forstå det nu :)

Men kan serveren ikke stadig se IP?

Jo det kan den, men den kan du nok sandsynligvis også sætte ved at ændre i PHP header

REMOTE_ADDR
REMOTE_HOST
http://php.net/manual/en/reserved.variables.server.php

Jeg har ikke prøvet det, men du er også selv nødt til at forsøge dig frem :) Eksperten er et hjælpe område hvor vi giver tips, men ikke altid den fulde løsning :) Sæt igang og leg (og lær) :)

Bemærkning tho...

I det eksempel du har forklaret, hvorfor du gør det (for at skjule dig for en russian server du skal downloade fra), så ville jeg da bare købe en midlertidig gigahost eller one.com hosting for en måned mens jeg henter de filer fra deres IP... i stedet for fra din egen server?

@Buzz

Leger alt hvad jeg kan :)

Synes det er lidt svært lige at få løst. Men ja, mht. at komme midlertidig hosting har jeg tænkt på det og overvejer også stærkt at gøre det på den måde :)

smider du et svar?

Der er faktisk en oppe ved selve scriptet, men der kommer da også et her

Admin har læst og har ingen bemærkninger :-)

#23 >> Overordentlig interessant! Jeg må tage til efterretning, at det er helt nye tider på Eksperten