Latency på dedicated server?

Hej alle sammen.

Jeg undre mig lidt over hvorfor latency på min dedicated server er så høj, nogen gange er den på 300 og så 40, 60, 100 det svinger og det er høje tal. :/
Og pga. Af høj latency kan den ikke klare ret mange spillere, har 2 mbit download og 512 mb, upload hos tdc.

Hvad kan problemet være?