Problemet er ikke nyt - lige siden de første søgemaskiner sendte automatiske programmer rundt på nettet for at indeksere web-sider, har der eksisteret en konflikt mellem søgemaskine-ejere og web-brugere, som ikke nødvendigvis ønsker, at alle dokumenter på deres webserver skal registreres i en søgemaskine.
Men problemet er blevet forstærket af et nyt værktøj hos Google, som gør det muligt at søge efter en lang række forskellige dokumenttyper, eksempelvis Office-dokumenter, Adobe PostScript-filer og Lotus 1-2-3 regneark.
Siden lanceringen af det nye søgeværktøj tidligere på måneden har overraskede website-ejere haft travlt med at fjerne dokumenter, som lå gemt og glemt rundt omkring i foldere - og pludselig dukkede op hos Google.
De mange nye filtyper kan også være et problem for Google's brugere, som kan risikere at indfange en virus, hvis man ubevidst klikker på et link, der f.eks. åbner et Word- eller Excel-dokument. Google har forsøgt at løse problemet med en "View HTML" funktion, der præsenterer dokumentet i det uskadelige web-format.
Bekymrede webmastere har flere muligheder for at afvise Google's søgerobotter ved porten. Det nemmeste er at tilføje en speciel fil, robots.txt, der fortæller hvilke dokumentere eller foldere, der ikke skal indeksere. Google informerer på sit website om mulighederne for at udelukke søgerobotter.
(Kilde: CNET)
