Bruger hastighed uden at nogen er koblet op på nettet

Hej
Jeg har Cybercity som udbyder og har en 8Mbit forbindelse.
Jeg har lavet internet med kabel i hele huset således at vi starter på 1 sal via vores router med 4 ports switch er der udgang til en switch i stueplan og videre derfra og til sidste switch som er i kælderplan.
Problemet: Jeg sidder her næsten midt om natten alene oppe og syntes nettet er utroligt langsomt.
Jeg går ind på cybercity og tjekker min hastighed og den ligger på ca 1.3mbit i DL og så nogle enkelte gange kan den lige booste sig op på 2 eller 3 mbit.
Jeg ser så ned på min router med den 4 ports switch som er fra cybercity og kan se at der er aktivitet i det kabel som går nedenunder, men der er ingen andre end mig på nettet.
Jeg tager kablet ud af switchen som fører ned og tjekker igen hastigheden som nu er fuldt normal.
Hvad er eller kan være skyld i den store forskel?
Jeg skal lige fortælle at jeg har et mediacenter som står i standby i stueplan og ellers ikke noget?