Hjælp til webcrawler søges

Hej
Som overskriften siger så søger hjælp til webcrawler, da jeg ikke ved om der findes noget software derude der kan klare det for mig eller om det skal kodes fra bunden af

Mine krav er følgende:

At jeg selv indtaster hvilke sider den skal crawle eller ud fra nogen bestemte ord

Registrere navnet på hjemmesiden og derefter tjekke navnet ved hvert besøg sådan at den ikke crawler sider der ikke længere findes eller som er lukkkede.

Det skal være muligt for mig at selv vælge hvad den skal crawle efter på hver enkelt side sådan at den ikke crawler alt muligt og dermed fylder hurtigt op.Ved godt at det bliver til meget manuelt arbejde men det vil gøre tingene nemmere på længere sigt

Selv bestemme hvor tit den skal crawle sådan at informationer er up to date

Det skal også være muligt at med de indsamle informationer at opbygge en database, for at derefter kunne sortere i det og lave statistik mv. Skal jeg ud og investere i en server evt cloud-løsning??

Det vil være både webshops men også almindelig sider der vil blive crawlet

Formålet er i første omgang forundersøgelse til et større projekt

På forhånd mange tak

Mvh. Elvis1984