ssh kun for udvalgte maskiner

Planen: vi er ved at sætte en server op der skal teste webapplikationer og iøvrigt holde styr på kode (CVS) og være ftp-server for nogle projekter, vores plan var at når maskinen var færdig sat op, så skulle der lukkes af for extern adgang via ssh.
Problem: men da vi besluttede at benytte CVS over ssh er den mulighed jo ligesom ikke til stede længere. Lige nu har kun udvalgte IP-adresser adgang gennem netfilter, men vi vil gerne give alle adgang til web og ftp på serveren. Kan det sættes op så ssh benytter en slags shared key så kun de computere der har deres key på serveren kan komme på?
ssh skal køre som en regulær service (ikke under xinet.d), og jeg har rodet lidt med identities og keys i ssh, men jeg kan ikke finde noget der lukker af. Jeg skal have root-adgang via ssh herfra, men har ikke lyst til at det kan lade sig gøre fra alle maskiner.
kan det lade dig gøre enten med et iptables script eller i opsætning af ssh