Indeksere en tilfældig hjemmeside - må man det?

Hmm, det er vel det f. eks. Google gør? Eller misforstår jeg?

Nej jeg tror ikke du misforstår. Problemet er, at jeg har lagt http://www.atoms.com/
på en hjemmeside for en. Den indekserer et par sites 2 gange om ugen, og nu er der nogen der mener det er ulovligt. Det vil jeg bare være sikker på. Hvis man forestiller sig at man f.eks. indekserer flere gange daglig - det ville belaste serveren unødigt?

Tilladt? ja, etisk? mmmmmmnnnjjjjj. Det kommer vil an på hvordan du gør det. Hvis du designer en bot, der indexere hjemmesider, som overholder robots.txt, og som indexere efter det samme system som f.eks. google (først indexeres forsiden, og næste måned indexeres resten, så kan folk der ikke ønsker dette jo nå og banne botten)

Problemet er at nogle web hoteller (primært i udlandet) betaler man for forbrug. Hvis så f.eks. 25 % af båndbredde forbruget er til tilfældige indexerings robotter, der ingen trafik giver, så er det jo en betydelig udgift for ejeren.

Mit råde gør det etisk så dem der betaler for forbrug har en chance for at afvise din bot, så skulle der ikke være nogen problemer overhoved

Det er til at indexere en offentlig hjemmeside som ikke selv har nogen søgedel, - så ingen problemer her, og heller ikke med det etiske:-)