Swing - JFrame opdateres ikke rigtigt

Jeg har en grafisk applikation bestående af en JFrame, hvortil er knyttet et JPanel, som igen indeholder de øvrige komponenter.

Min applikation er dynamisk i den forstand, at nye komponenter tilføjes og fjernes ved forskellige events.

Problemet er, at når jeg fjerner komponenter, bliver der "små rester" af komponenterne tilbage. Hvis jeg dog f.eks. trækker i vinduet eller minimerer og derefter maksimerer, forsvinder disse rester, så jeg mangler en form for opdatering af vinduet.

Jeg har forsøgt med validate() på såvel min JFrame som mit JPanel uden held.

Hvad er forklaringen på dette, og hvad kan jeg herefter gøre?