Socket connect hænger

socket(SOCKET,PF_INET,SOCK_STREAM,$proto);
setsockopt(SOCKET,SOL_SOCKET,SO_REUSEADDR,1);
connect(SOCKET,$serveraddr);

I ovenstående kode hænger connect() i 5% af tilfældende. Dvs. langt de fleste gange fungerer det fint, men én ud af 20 gange er den 5-10 sekunder om at connecte til serveren.

Det er IKKE serveren, som er langsom til at svare. Det er heller ikke klient-serveren som er overbelastet.

Hvad kan fejlen skyldes, og hvordan debugger jeg?