Avatar billede mergelspir Seniormester
08. august 2022 - 18:06 Der er 8 kommentarer

DNS, forward og reverse

Jeg vil gerne verificere om de bots, der tilgår mit site er dem, de giver sig ud for at være.
Jeg vil fx gerne besøges af Bing, men inden jeg giver adgang, så vil jeg gerne sikre mig, at Bing er Bing.
Jeg har set følgende anbefaling fra Microsoft (men også mange andre steder):

1) Perform a reverse DNS lookup using the IP address from the logs to verify that it resolves to a name that end with e.g. "search.msn.com"
2) Do a forward DNS lookup using the name from step 1 to confirm that it resolves back to the same IP address

Men, når jeg foretager en reverse DNS lookup, så får jeg oftest ikke noget svar, jeg kan bruge til noget.
fx:
host 157.55.33.18
giver resultatet
Host 18.33.55.157.in-addr-arpa. not found: 3 (NXDOMAIN)

Er der andre muligheder for at få et kvalificeret svar?
Eller skal jeg tolke ovenstående svar som at det ikke er fx Bing?.
Avatar billede puren Ekspert
09. august 2022 - 13:06 #1
Hvordan vil du styre om det er en bot eller ej?

Dernæst hvis det bare stadig er en robot.txt fil der skal styre det så kan jeg jo som ejer af robotten sige at det retter jeg mig ikke efter, så du har nogle problemer du skal løse inden.
Avatar billede mergelspir Seniormester
09. august 2022 - 13:42 #2
Ad "Hvordan")
Jeg antager, at når userAgent = "mozilla/5.0 (compatible; bingbot/2.0; +http:www.bing.com/bingbot.htm)", så er det en bot.

Ad "Dernæst")
Præcis!!
Det er i den kontekst, at jeg stiller spørgsmålet.
Avatar billede Lille Hjælper Seniormester
10. august 2022 - 14:15 #3
Avatar billede mergelspir Seniormester
10. august 2022 - 18:12 #4
Ang #3
DIsse links løser desværre kun spørgsmålet for Bing.

Mit spørgsmål går på den generelle løsning.
Microsoft beskriver den generelle løsning her;
https://blogs.bing.com/webmaster/2012/08/31/how-to-verify-that-bingbot-is-bingbot

Hvis jeg udfører kommandoen:
"host 157.55.39.8"
får jeg svaret:
"8.39.55.157.in-addr-arpa domain name pointer msnbot-157-55-39-8.search.msn.com."
Og det er til at forstå.

Men:
host 157.55.33.18
giver resultatet
Host 18.33.55.157.in-addr-arpa. not found: 3 (NXDOMAIN)

Hvad kan jeg udlede af det host-svar?
Avatar billede Lille Hjælper Seniormester
10. august 2022 - 20:48 #5
Uden at vide det præcist - vil jeg mene, at host-svaret "not found: 3 (NXDOMAIN)" betyder at der ikke er fundet et hostnavn, der matcher IP-adressen.
Det er jo ikke alle IP-adresser, der har et tilhørende hostnavn.
Så en bot kan i princippet være OK, selvom den ikke kan identificeres med et hostnavn.
Avatar billede mergelspir Seniormester
11. august 2022 - 10:53 #6
Ad #5
Du skriver
"Det er jo ikke alle IP-adresser, der har et tilhørende hostnavn."
1) Det er sandt nok, men hvis vi nu begrænser os til hosts på Internettet. Er det så ikke et krav at en host på Internettet SKAL have et navn?
(det kan godt være, at jeg spørger dumt, men jeg har aldrig arbejdet detaljeret med netværk)

2) Når jeg søger på "not found: 3 (NXDOMAIN)" , så ser det mest af alt ud til, at det er en fejl i opsætningen, fx at der ikke er nogen AAAA record.
Vil det ikke være en fair antagelse, at alle seriøse bots er sat korrekt op?
dvs., at hvis man får svaret "not found: 3 (NXDOMAIN)", så kan man med ro i sindet nægte denne server adgang til ens site.
Avatar billede Lille Hjælper Seniormester
11. august 2022 - 17:20 #7
1) Det tror jeg ikke er et krav. Hvem skulle kontrollere det og hvad skulle sanktionen være, hvis man ikke har registreret et hostnavn på en server?

2) Umiddelbart vil det give god mening, at alle seriøse bots har registreret et hostnavn, så man kan identificere trafikken.
Avatar billede mergelspir Seniormester
12. august 2022 - 20:03 #8
ad #7)
Som sagt er jeg ikke netværksspecialist, og kender ikke DNS-protokollen eller konsekvenserne på forkerte/manglende oplysninger, så jeg kan ikke svare på dit spørgsmål. men jeg antager følgende:
**Hvem:
Det er vel den, der angiver oplysningerne, der skal kontrollere, at de er korrekte. Fx ved en test.
**Sanktion:
At det ikke virker (helt eller delvist).
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester