Du har lige frikendt switchen som problem. Havde det været den, ville der have været huller af den ene eller anden slags.
Så problemet er i routeren eller evt noget spyware på pc'erne. Prøv at køre denne kommando i start | kør (på begge pc'ere)
ping
www.novell.com -t
Den kan du så bare lade køre i baggrunden. Prøv så at gå på internettet som normalt og når/hvis den fejler, så kig efter om du stadig får svar i "ping". Det vil vise om der stadig er forbindelse til internettet selvom du ikke kan browse.