Begrænsning til min apache server

Hej, jeg vil gerne af sikkerhedsmæssige årsager have begrænset adgangen til min apache-server.
Dvs. jeg vil gerne have at kun 5 personer skal kunne komme ind og surfe rundt på serveren. Altså der skal altså spærres helt af, også http på port 80 for alle andre.
Jeg har i http.conf ændret, så jeg har følgende
Listen xxx.xxx.xxx.xxx:80
Listen xxx.xxx.xxx.xxx:80
Listen xxx.xxx.xxx.xxx:80
Listen xxx.xxx.xxx.xxx:80
Listen xxx.xxx.xxx.xxx:80

Men stadig kan alle tilgå webserveren. Er der noget jeg mangler?