AOL Spider gået amok ?

AOL det er både forklaringen og problemet. Hvis du har opdateret din side i de tidsrum, er det grunden. Den logger din side (site) og tester uvilkårligt om du har ændret på uvilkårlige tidspunkter. Hvis den finder at du har ændret noget, parser den dit site igen. Du kan spærre den i en robots.txt fil i roden af dit site.

AOL er en søge side som har nogen robotter der går ud og undersøger for nye links og også om de gamle er blevet opdateret eller fjernet.
Det samme gør Altavista osv.
AOL spider kan godt gå amok som du kalder det, men rent faktisk er det fordi den tjekker din side alle undersider og evt. links fra din side, derfor registreres det som at den går ind på din side hele tisen.