robots.txt

Det kan ikke lade sig gøre.

robots.txt anvendes til at styre hvilke html sider der skal være synlige for søgemaskinerne.

/per

Så der er ingen måde man kan sikre sig på at folk ikke henter ens websted inklusive diverse sider som der ikke er linket til men som bare ligger der?

Dvs at sider der normalt er bag password bare kan hantes ned?

PHP-sider kan vel også bare hentes ned, eller er det altid som HTML?

Mvh Flim

Du kan godt beskytte dine websider med password, og du kan forhindre at websider ikke vises i en søgemaskine via robots.txt.
Hvis brugeren kommer ind på dit website, så kan de altid downloade/hente billeder mv.

/per

Nu er det ikke så meget i søgemaskine-henseende.

Jeg har hørt om et program der hedder wget, som simpelthen henter alt ned fra ens websted, og ligger sider i deres respektive mapper. (Mener Frontpage kan noget i samme dur).

Men det er måske det samme. At hvis en søgemaskine ikke kan finde den, så kan wget, Frontpage og andre programmer heller ikke?

Håber du gider svare, og hvs jeg har ret, hvordan skrives denne robots.txt så?

Det kan både frontpage og wget. og det er svært at lave et website, der ikke bare kan hentes ned, samtidig med at det er brugervenligt og især søgemaskinevenligt.

Hvis du ønsker at gøre dette, kan du betjene dig af ASP eller PHP, og lade siderne hente på baggrund af bruger handlinger. Altså bruger indtastning i formfelter eller bruger klik på alertbokse. Hverken frontpage eller wget kan jo udfylde formularfelter med korrekte ting.

Mange tjenester, der ikke vil have at andre tjenester benytter dem, gør det at de generere en tre tegns kombination med gif billeder af de enkelte tegn, dette gif billede sammensat af tre giffer, giver den kode du som bruger skal taste ind, for at komme videre. Frontpage og wget, kan ikke se hvad for tegn der er på billedet, og derfor ikke bringes til at udfylde feltet korrekt. Dette er dog ikke videre bruger venligt

Det er i øvrigt en god ide at have en robots.txt, det forventer søgemaskinerne.

ser her for en minimums version http://www.bufferzone.dk/robots.txt
og her for en maximums version http://www.webmasterworld.com/robots.txt

desuden kan selve PHP koden ikke hentes ned da det er serverside - altså siderne bliver behandlet af PHP fra serveren før de bliver smidt ud til brugeren (også ham der benytter wget) som almindeligt HTML.

Alt, der hedder .php på en PHP-enabled server vil først blive kørt på serveren og resultatet sendt til brugeren. Du kan password-beskytte dine filer ved at bruge .htaccess - som er en standard på alle APACHE-servere. Kig evt. her, hvor jeg har besvaret et lignende spørgsmål: http://www.eksperten.dk/spm/424531